Contextual retrieval

Kontextbezogene Wiederherstellung (Contextual Retrieval)

• Ziel: Verbesserung der Genauigkeit der Retrieval-Augmented Generation (RAG) Pipeline.
• Problem: Beim Aufteilen (Chunking) eines Quelltextes geht der Kontext des gesamten Dokuments verloren.
• Lösung (Kernprozess): Eine Vorverarbeitung (Pre-processing) wird vor der Indexierung durchgeführt.
• Schritt 1: Ein einzelner Text-Chunk und das gesamte Quell-Dokument werden an ein großes Sprachmodell (LLM, z. B. Claude) gesendet.
• Schritt 2: Das LLM generiert zusätzlichen Kontext, um den Chunk im Gesamtkontext zu verorten.
• Schritt 3: Der generierte Kontext wird mit dem ursprünglichen Chunk kombiniert → Kontextualisierter Chunk.
• Schritt 4: Dieser kontextualisierte Chunk wird in den Vektor- und BM25-Index aufgenommen.

Umgang mit sehr großen Dokumenten:

• Wenn das gesamte Quell-Dokument nicht in einen einzigen Prompt passt, wird der Kontext gezielt reduziert.
• Strategie: Anstatt das gesamte Dokument zu verwenden, werden nur relevante Teile ausgewählt:
• Chunks vom Anfang des Dokuments (z. B. Abstract/Zusammenfassung).
• Chunks, die unmittelbar vor dem zu kontextualisierenden Chunk liegen.
• Vorteil: Signifikante Reduzierung der Eingabelänge für das LLM bei gleichzeitiger Beibehaltung der notwendigen Kontextinformationen.

Takeaways

• Kontextbezogene Wiederherstellung (Contextual Retrieval) dient der Verbesserung der RAG-Genauigkeit, indem der Kontext von Chunking-Prozessen bewahrt wird.
• Der Kernprozess nutzt ein LLM, um jedem Text-Chunk zusätzlichen Kontext aus dem gesamten Quell-Dokument zu generieren.
• Das Ergebnis ist ein "Kontextualisierter Chunk", der anschließend in den Vektor- und BM25-Index aufgenommen wird.
• Bei sehr großen Dokumenten wird der Kontext gezielt reduziert (z. B. durch Auswahl von Anfang oder benachbarten Chunks), um die LLM-Eingabelänge zu optimieren.