Text chunking strategies

Studiennotizen: RAG-Workflow und Chunking-Strategien

I. RAG-Pipeline (Retrieval-Augmented Generation)

• Workflow: Der Prozess besteht aus folgenden Schritten:
• Quell-Dokument → Textsegmentierung (Chunking)
• Relevanter Chunk finden (Retrieval)
• Chunk in Prompt einfügen
• Antwort generieren
• Kritikalität: Die Chunking-Strategie ist entscheidend für die Qualität der gesamten RAG-Pipeline. Schlechte Segmentierung führt zu Kontextfehlern.

II. Chunking-Strategien (Grundprinzipien)

• Ziel: Text in kleinere, sinnvolle Abschnitte (Chunks) aufteilen, um die KI-Verarbeitung zu optimieren.
• Grundlegende Methoden:
• Größenbasiertes Chunking: Dokument wird in Strings gleicher Länge unterteilt.
• Nachteil: Gefahr des Abschneidens von Wörtern oder Verlust von Kontext (z. B. fehlende Überschriften).
• Verbesserung (Überlappung): Ein Teil des nachfolgenden Chunks wird in den aktuellen Chunk aufgenommen → bessere Kontextversorgung, aber Textduplikate.
• Struktur-basiertes Chunking: Segmentierung erfolgt basierend auf der logischen Struktur (z. B. Überschriften, Absätze).
• Anwendung: Ideal bei klar strukturierter Dokumentation (z. B. Markdown).
• Semantisches Chunking: NLP-Techniken werden genutzt, um inhaltliche Verwandtschaft zwischen Sätzen/Abschnitten zu bestimmen und sie zu gruppieren.

III. Spezifische Chunking-Anwendungen

• Benutzerdefinierte Länge und Überlappung:
• Anpassung der Standardwerte (z. B. Länge 500, Überlappung 150) verbessert die Bildung vollständiger, informativer Abschnitte.
• Die Überlappung verhindert den Verlust komplexer Phrasierungen an den Schnittstellen.
• Chunk nach Satz:
• Verwendet reguläre Ausdrücke (Regex) zur Trennung.
• Standard: 5 Sätze pro Chunk mit Satz-Überlappung.
• Ergebnis: Liefert in der Regel solide, informationsreiche Chunks.
• Chunk nach Abschnitt:
• Ideal für hochstrukturierte Dokumente (z. B. Kapitel, Executive Summary).
• Voraussetzung: Garantiert Dokumentstruktur.
• Chunk nach Zeichen:
• Die zuverlässigste Fallback-Strategie.
• Notwendig bei Textformen, die Satz-Splitting verhindern (z. B. Programmiercode).

Fazit: Die Wahl der Chunking-Strategie hängt vollständig von der Natur und den strukturellen Garantien des zu verarbeitenden Dokuments ab.

Takeaways

• Die Chunking-Strategie ist ein kritischer Schritt in der RAG-Pipeline, da sie direkt die Qualität der generierten Antworten beeinflusst.
• Chunking dient der Aufteilung von Text in kleinere, sinnvolle Abschnitte, um die KI-Verarbeitung zu optimieren.
• Es gibt drei Hauptmethoden: Größenbasiertes Chunking (mit Überlappung zur Kontextverbesserung), Struktur-basiertes Chunking und Semantisches Chunking.
• Die Wahl der optimalen Chunking-Strategie muss sich vollständig nach der Natur und den strukturellen Garantien des zu verarbeitenden Dokuments richten.