Contextual retrieval

Contextuele Retrieval (Contextual Retrieval)

• Doel: Verbetering van de nauwkeurigheid van de RAG-pipeline.
• Probleem: Wanneer een bron document wordt opgesplitst in chunks, gaat de context van het oorspronkelijke document verloren in de individuele chunks.
• Oplossing: Een voorverwerkingsstap (pre-processing) wordt toegevoegd voordat de tekstchunks in de retriever database worden geplaatst.

Het Proces van Contextual Retrieval

• Stap 1: Context Genereren:
• Een LLM (bijv. Claude) wordt gevraagd om context toe te voegen aan een individuele tekstchunk.
• De input voor de LLM bestaat uit: (Individuele tekstchunk + Oorspronkelijk bron document).
• De output is een extra contextuele tekst die de chunk plaatst binnen het grotere document.
• Stap 2: Chunk Contextualiseren:
• De gegenereerde extra context wordt gecombineerd met de oorspronkelijke tekstchunk.
• Dit resultaat wordt de contextualiseerde chunk.
• Stap 3: Indexering:
• De contextualiseerde chunk wordt als input gebruikt voor de vector index en de BM 25 index.

Omgaan met Grote Documenten

• Uitdaging: Het oorspronkelijke bron document is vaak te groot om in één prompt aan de LLM te passen.
• Strategie (Subsetting): In plaats van het hele document, wordt een gerichte subset van tekst verstrekt aan de LLM:
• Startchunks: Chunks van het begin van het document (vaak een samenvatting of abstract).
• Voorafgaande Chunks: Chunks die direct voorafgaan aan de chunk die gecontextualiseerd moet worden (lokale context).
• Resultaat: Dit vermindert de hoeveelheid tekst die naar de LLM wordt gestuurd, terwijl relevante context wordt behouden.

Kernconcept

• De contextualiseerde chunk → Biedt de retriever een rijkere, meer geplaatste input → Leidt tot betere retrieval-nauwkeurigheid.

Takeaways

• Contextual Retrieval verbetert de RAG-nauwkeurigheid door het contextverlies tegen te gaan dat optreedt bij het opsplitsen van bron documenten in chunks.
• Het proces omvat een voorverwerkingsstap waarbij een LLM context toevoegt aan een individuele tekstchunk door deze te combineren met het oorspronkelijke bron document.
• De resulterende 'contextualiseerde chunk' wordt vervolgens als rijkere input in de vector en BM 25 index geplaatst.
• Om grote documenten te verwerken, wordt in plaats van het hele document een gerichte subset (zoals startchunks of voorafgaande chunks) aan de LLM verstrekt.