Introducing Retrieval Augmented Generation

Studie-opmerkingen: Retrieval Augmented Generation (RAG)

Wat is RAG?

• RAG staat voor Retrieval Augmented Generation.
• Het is een techniek om een Large Language Model (LLM) te helpen specifieke vragen te beantwoorden op basis van zeer grote of complexe documenten (bijv. financiële rapporten).

Het Fundamentele Probleem

• Hoe krijg je relevante informatie uit een enorm document in het LLM, zodat het de vraag kan beantwoorden?

Optie 1: Directe Prompt (Niet-RAG)

• Methode: Alle tekst uit het document wordt direct in de prompt van het LLM geplaatst.
• Nadelen:
• Er is een harde limiet op de hoeveelheid tekst die in een prompt kan passen → lange documenten veroorzaken fouten.
• De effectiviteit van het LLM neemt af naarmate de prompt langer wordt.
• Context kan verloren gaan in de grote hoeveelheid informatie.

Optie 2: Retrieval Augmented Generation (RAG)

• Methode:
• Het document wordt opgedeeld in kleine stukken (chunks).
• Wanneer een gebruiker een vraag stelt, wordt de vraag gebruikt om de meest relevante chunks uit het document te retrieven (op te halen).
• Alleen deze relevante chunks worden aan de prompt toegevoegd.
• Voordelen:
• Het LLM kan zich focussen op de relevante inhoud.
• Schaalt goed naar zeer grote documenten of meerdere documenten.
• Leidt tot kleinere prompts → snellere verwerking en lagere kosten.
• Nadelen/Uitdagingen:
• Hoge complexiteit: Vereist een pre-processing stap (chunk maken).
• Er moet een zoekmechanisme worden ontwikkeld om de meest relevante chunks te vinden.
• Er is geen garantie dat de geselecteerde chunk alle context bevat die nodig is voor een volledig antwoord.
• Er zijn veel manieren om tekst op te splitsen (bijv. op gelijke delen of op basis van koppen).

Conclusie

• RAG (Optie 2) lost de beperkingen van directe prompts op, maar introduceert aanzienlijke technische complexiteit en vereist een grondige analyse van het specifieke gebruiksscenario.

Takeaways

• RAG (Retrieval Augmented Generation) is een techniek om LLM's te helpen specifieke vragen te beantwoorden op basis van grote of complexe documenten.
• Directe prompts hebben een harde limiet op de hoeveelheid tekst en leiden tot contextverlies bij lange documenten.
• RAG werkt door documenten op te splitsen in chunks en alleen de meest relevante chunks te selecteren voor de prompt.
• RAG biedt schaalbaarheid en efficiëntie, maar vereist een hoge technische complexiteit (zoals het ontwikkelen van een zoekmechanisme).