Introducing Retrieval Augmented Generation

Studiennotizen: Retrieval Augmented Generation (RAG)

Definition und Problemstellung

• RAG (Retrieval Augmented Generation): Eine Technik, um Large Language Models (LLMs) mit externem, spezifischem Wissen zu erweitern.
• Kernproblem: Wie kann eine LLM (z. B. Claude) präzise Fragen zu sehr großen Dokumenten (z. B. 100–1000 Seiten) beantworten, wenn die Eingabelimitierung (Context Window) des Modells begrenzt ist?

Option 1: Direkte Prompt-Eingabe (Naive Methode)

• Vorgehen: Das gesamte Dokument wird direkt in den Prompt eingefügt.
• Nachteile:
• Begrenzung: Es gibt eine harte Grenze für die Textmenge, die verarbeitet werden kann.
• Effektivität: Die Leistung des Modells nimmt ab, je länger der Prompt wird.
• Kosten/Zeit: Höhere Kosten und längere Verarbeitungszeiten.

Option 2: Retrieval Augmented Generation (RAG)

• Vorgehen: Ein zweistufiges, komplexeres Verfahren.
• Schritt 1 (Pre-Processing): Das große Dokument wird in kleine, überschaubare Textabschnitte (Chunks) zerlegt.
• Schritt 2 (Retrieval & Augmentation):
• Die Benutzerfrage wird analysiert.
• Es wird nach den relevantesten Chunks im gesamten Dokument gesucht.
• Nur diese relevanten Chunks werden zusammen mit der Frage in den Prompt eingefügt.
• Vorteile:
• Skalierbarkeit: Funktioniert mit sehr großen und multiplen Dokumentensätzen.
• Fokus: Das LLM konzentriert sich auf das relevante Material.
• Effizienz: Kleinere Prompts → geringere Kosten und schnellere Laufzeit.
• Nachteile/Herausforderungen:
• Komplexität: Erfordert einen aufwendigen Pre-Processing-Schritt und einen Suchmechanismus.
• Kontextverlust: Es gibt keine Garantie, dass der relevante Chunk alle notwendigen Informationen enthält, um die Frage vollständig zu beantworten.
• Chunk-Strategie: Die Definition der Chunks (z. B. gleich große Abschnitte vs. nach Überschriften) muss sorgfältig gewählt werden.

Zusammenfassung

• RAG ist die skalierbare Lösung für die Nutzung großer Wissensdatenbanken mit LLMs.
• Die Implementierung erfordert eine sorgfältige Analyse der Schritte (Chunking, Retrieval) und des spezifischen Anwendungsfalls.

Takeaways

• RAG (Retrieval Augmented Generation) erweitert Large Language Models (LLMs) um externes, spezifisches Wissen, um die Begrenzung des Kontextfensters zu umgehen.
• Das Verfahren basiert auf zwei Schritten: Zuerst wird das große Dokument in kleine, überschaubare Textabschnitte (Chunks) zerlegt.
• Im Retrieval-Schritt wird die Benutzerfrage analysiert und nur die relevantesten Chunks aus dem Dokument gefunden.
• Diese relevanten Chunks werden zusammen mit der Frage in den Prompt eingefügt, um das LLM zu augmentieren und präzise Antworten zu generieren.
• RAG bietet Skalierbarkeit und Effizienz gegenüber der direkten Prompt-Eingabe, erfordert jedoch eine sorgfältige Chunk-Strategie und birgt das Risiko des Kontextverlustes.