Implementing the RAG flow

Studieopmerkingen: RAG Workflow (Retrieval-Augmented Generation)

Dit document beschrijft de vijf stappen van de volledige RAG-workflow, van documentverwerking tot het ophalen van relevante informatie.

De 5 Stappen van de RAG-Workflow:

• Stap 1: Chunking (Tekst opdelen)
• Lees het bronbestand (bijv. report. md).
• De tekst wordt opgedeeld in kleinere stukken (chunks) met behulp van een functie zoals chunk by section.
• Stap 2: Embedding Generatie
• Loop door alle gecreëerde chunks.
• Genereer voor elke chunk een numerieke representatie (embedding) met de functie generate embedding.
• Stap 3: Vector Store Creëren en Opslaan
• Maak een instantie van de vector index (vector index).
• Sla de embeddings op in de vector store.
• Belangrijk: Sla bij elke embedding ook de originele tekst van de chunk (of een ID) op. Dit is cruciaal om later te weten welk stuk tekst bij de gevonden embedding hoort.
• Stap 4: Vraag Embedding Genereren
• Wanneer een gebruiker een vraag stelt, genereer dan een embedding voor deze vraag (input string).
• Stap 5: Retrieval (Zoeken)
• Zoek in de vector store met de gebruikersembedding.
• Geef aan hoeveel relevante chunks je wilt terugkrijgen (bijv. de top 2).
• De resultaten bevat de inhoud van de relevante documenten en de afstand (similarity score) tot de vraag.

Kernconcepten:

• Embedding: Een numerieke vector die de semantische betekenis van een stuk tekst vastlegt.
• Vector Store: Een database die deze embeddings opslaat en efficiënt kan doorzoeken op gelijkenis.
• Doel van de RAG: Het ophalen van relevante, contextuele documenten om een antwoord te genereren op basis van die bronnen.

Takeaways

• Het doel van RAG is het ophalen van relevante, contextuele documenten om een antwoord te genereren op basis van die bronnen.
• Tekst wordt opgedeeld in chunks en vervolgens omgezet in numerieke representaties (embeddings) die de semantische betekenis vastleggen.
• Deze embeddings worden opgeslagen in een Vector Store, een database die efficiënt kan zoeken op gelijkenis.
• Bij een gebruikersvraag wordt deze ook een embedding, die vervolgens wordt gebruikt om de meest relevante chunks uit de Vector Store te halen.