Text chunking strategies

📚 Lernnotizen: RAG-Workflow und Chunking-Strategien

🧠 RAG-Pipeline: Grundkonzept

• Zweck: Implementierung eines benutzerdefinierten Retrieval-Augmented Generation (RAG) Workflows.
• Ablauf: Quellendokument → Zerlegung (Chunking) → Relevanter Chunk finden → Prompt erstellen → Antwort generieren.
• Kritischer Punkt: Die Qualität der RAG-Pipeline hängt maßgeblich von der gewählten Chunking-Strategie ab.
• Problem: Unüberlegte Zerlegung führt zu Kontextfehlern (z. B. Keyword-Treffer ohne thematische Relevanz).

🛠️ Haupt-Chunking-Strategien

1. Größenbasiertes Chunking (Size-based)

• Methode: Dokument wird in Textstrings gleicher oder nahezu gleicher Länge unterteilt.
• Vorteile: Einfachste Implementierung, häufig in Produktion.
• Nachteile:
• Abgeschnittene Wörter (Cutoff Words): Wörter werden mitten im Chunk getrennt.
• Kontextverlust: Wichtige Abschnitte oder Überschriften gehen verloren.
• Optimierung (Überlappung/Overlap): Fügt Text aus benachbarten Chunks hinzu. Dies verbessert den Kontext pro Chunk, führt aber zu Textduplikaten.

2. Struktur-basiertes Chunking (Structure-based)

• Methode: Zerlegung erfolgt basierend auf der inhärenten Struktur des Dokuments (z. B. Absätze, Sektionen, Überschriften).
• Vorteile: Erzeugt thematisch kohärente und gut formatierte Abschnitte.
• Einschränkung: Funktioniert nur zuverlässig bei Dokumenten mit garantierter Struktur.

⚙️ Spezifische Chunking-Methoden und Optimierung

• Manuelle Anpassung: Die Standard-Einstellungen (z. B. Chunk-Länge 150, Überlappung 20) sind oft unzureichend. Eine Erhöhung der Chunk-Länge (z. B. 500) und der Überlappung (z. B. 150) verbessert die inhaltliche Tiefe.
• Chunk by Sentence (Nach Satz):
• Methode: Trennung mittels regulärem Ausdruck (Regex).
• Ergebnis: Liefert solide, zusammenhängende Informationen (z. B. 5 Sätze pro Chunk, 1 Satz Überlappung).
• Chunk by Section (Nach Abschnitt):
• Anwendung: Sehr effektiv bei strukturierten Dokumenten (z. B. Kapitel, Executive Summary).
• Einschränkung: Unzuverlässig bei frei bereitgestellten Text ohne Formatierung.
• Chunk by Character (Nach Zeichen):
• Anwendung: Fallback-Strategie, insbesondere bei unvorhersehbaren Daten wie Code.
• Ergebnis: Funktioniert zuverlässig, ist aber nicht garantiert optimal.
• Fazit: Die Wahl der Strategie muss immer von der Natur und der garantierten Struktur des Quell-Dokuments abhängen.

Takeaways

• Die Qualität der RAG-Pipeline hängt maßgeblich von der gewählten Chunking-Strategie ab.
• Größenbasiertes Chunking ist einfach, führt aber zu Kontextverlust; die Überlappung (Overlap) verbessert den Kontext, erzeugt aber Textduplikate.
• Struktur-basiertes Chunking ist ideal für thematische Kohärenz, funktioniert aber nur bei garantiert strukturierten Dokumenten.
• Die Wahl der Chunking-Methode (z. B. nach Satz, Abschnitt oder Zeichen) muss immer von der Natur und der Struktur des Quell-Dokuments abhängen.