Contextual retrieval

Thema: Contextual Retrieval (Kontextuelles Abrufen)

• Ziel: Verbesserung der Genauigkeit in einer RAG-Pipeline (Retrieval-Augmented Generation).
• Problem: Beim Aufteilen des Quell-Dokuments in Chunks geht der Kontext des gesamten Dokuments verloren.
• Lösung (Pre-Processing): Ein Vorverarbeitungsschritt wird eingeführt, bevor Chunks in die Datenbank (Retriever) eingefügt werden.
• Kernprozess:
• Ein einzelner Text-Chunk wird zusammen mit dem Original-Quell-Dokument an ein großes Sprachmodell (z. B. Claude) gesendet.
• Das LLM generiert zusätzlichen Kontext, um den Chunk im Rahmen des gesamten Dokuments zu "platzieren" (z. B. "Dieser Abschnitt gehört zu Kapitel 2 und folgt der Methodik").
• Ergebnis: Der ursprüngliche Chunk und der generierte Kontext werden zu einem kontextualisierten Chunk zusammengefügt.
• Dieser Kontextualisierte Chunk dient als Eingabe für den Vektor-Index und den BM25-Index.
• Umgang mit sehr großen Dokumenten:
• Wenn das gesamte Quell-Dokument zu groß für den Prompt ist, wird eine Teilstrategie angewendet.
• Anstatt des gesamten Dokuments werden nur Starter-Chunks (z. B. Abstract/Einleitung) und Chunks, die unmittelbar vor dem Ziel-Chunk liegen, bereitgestellt.
• Implementierung:
• Eine Funktion (add context) automatisiert den Prozess: Sie nimmt einen Chunk und den Quelltext entgegen, fordert das LLM auf, Kontext zu generieren, und fügt diesen Kontext zum Original-Chunk hinzu.
• Vorteil: Erhöhte Genauigkeit, insbesondere bei komplexen Dokumenten mit starken internen Verknüpfungen.

Takeaways

• Kontextuelles Abrufen (Contextual Retrieval) dient dazu, den Kontext von Dokumenten zu erhalten, der beim Aufteilen in Chunks verloren ginge.
• Der Kernprozess nutzt ein großes Sprachmodell (LLM), um einem einzelnen Text-Chunk basierend auf dem Quell-Dokument zusätzlichen Kontext zu generieren.
• Das Ergebnis ist ein "kontextualisierter Chunk", der anschließend als Eingabe für den Vektor- und BM25-Index dient.
• Bei sehr großen Dokumenten wird eine Teilstrategie angewendet, die Starter-Chunks (z. B. Abstract) und unmittelbar vorangegangene Chunks bereitstellt.