The full RAG flow

RAG Pipeline: Belangrijkste Concepten

• Doel van RAG: Het combineren van tekst-chunking, embeddings en de RAG-pipeline om antwoorden te genereren op basis van specifieke bronteksten.

Fase 1: Pre-processing (Voorafgaand aan de vraag)

• Chunking: Het bronbestand opsplitsen in kleinere, beheersbare stukken tekst (chunks).
• Text Embeddings: Het omzetten van elke tekstchunk in een numerieke vector (een lange lijst van getallen) die de semantische betekenis vastlegt.
• Normalisatie: Het schalen van de grootte (magnitude) van elke vector naar 1. 0. Dit zorgt ervoor dat alle vectoren een eenheidsvector zijn.
• Vector Database: Een gespecialiseerde database die geoptimaliseerd is voor het opslaan, vergelijken en ophalen van deze numerieke embeddings.

Fase 2: Query en Retrieval (Het antwoord genereren)

• Query Embedding: De gebruikersvraag wordt door exact hetzelfde embedding-model gehaald als de bronchunks, waardoor ook de vraag een vector krijgt.
• Retrieval (Ophalen): De vector van de gebruikersvraag wordt gebruikt om in de Vector Database te zoeken naar de opgeslagen vector die het meest lijkt op de vraag.
• Cosine Similarity: De belangrijkste wiskundige methode om de gelijkenis tussen twee vectoren te meten.
• Het berekent de cosinus van de hoek tussen de vectoren.
• Het resultaat ligt tussen -1 en 1.
• Een waarde dicht bij 1 betekent een hoge gelijkenis.
• Cosine Distance: Een alternatieve maat voor gelijkenis.
• Berekening: 1 min Cosine Similarity.
• Een waarde dicht bij 0 betekent een hoge gelijkenis.

Fase 3: Generatie

• Prompt Constructie: De oorspronkelijke gebruikersvraag wordt gecombineerd met de meest relevante tekstchunk die door de Vector Database is opgehaald.
• LLM Output: Deze gecombineerde prompt wordt naar het Large Language Model (LLM) gestuurd om het uiteindelijke antwoord te genereren.

Takeaways

• RAG combine tekst-chunking, embeddings en een LLM om antwoorden te genereren op basis van specifieke bronteksten.
• Text embeddings zetten tekst om in numerieke vectoren die de semantische betekenis vastleggen.
• De Vector Database slaat deze vectoren op en gebruikt Cosine Similarity om de meest relevante tekstchunk te vinden.
• De LLM genereert het uiteindelijke antwoord door de oorspronkelijke vraag te combineren met de opgehaalde tekstchunk.