Introducing Retrieval Augmented Generation

Studienguide: Retrieval Augmented Generation (RAG)

Definition und Problemstellung

• RAG (Retrieval Augmented Generation): Eine Technik, um Large Language Models (LLMs) mit spezifischem Wissen aus externen, großen Dokumentensätzen zu versehen.
• Grundproblem: Wie kann ein LLM (z. B. Claude) spezifische Fragen zu sehr großen Dokumenten (z. B. 100–1000 Seiten) beantworten, wenn die gesamte Information nicht in den Prompt passt?

Vergleich der Ansätze

**1. Direkte Prompt-Eingabe (Naive Methode)**

• Vorgehen: Das gesamte Dokument wird in den Prompt eingefügt.
• Nachteile:
• Begrenzung: Es gibt eine harte Grenze für die Textmenge, die ein LLM verarbeiten kann.
• Effektivität: Die Leistung des LLM nimmt ab, je länger der Prompt wird.
• Kosten/Geschwindigkeit: Längere Prompts führen zu längerer Verarbeitungszeit und höheren Kosten.

**2. RAG (Retrieval Augmented Generation)**

• Vorgehen: Ein zweistufiges, komplexeres Verfahren.
• Schritt 1 (Preprocessing/Chunking): Das gesamte Dokument wird in kleine, überschaubare Abschnitte (Chunks) zerlegt.
• Schritt 2 (Retrieval & Generation):
• Die Benutzerfrage wird analysiert.
• Ein Suchmechanismus findet die relevantesten Chunks.
• Nur diese relevanten Chunks werden in den Prompt eingefügt.
• Das LLM generiert die Antwort basierend auf dem fokussierten, relevanten Inhalt.

Vorteile von RAG

• Fokus: Das LLM konzentriert sich nur auf den relevanten Inhalt.
• Skalierbarkeit: Funktioniert mit sehr großen oder multiplen Dokumentensätzen.
• Effizienz: Führt zu kleineren Prompts → geringere Verarbeitungszeit und niedrigere Kosten.

Herausforderungen und Nachteile von RAG

• Komplexität: Erfordert einen aufwendigen Vorverarbeitungsprozess (Preprocessing).
• Suchmechanismus: Es muss ein Mechanismus entwickelt werden, um die Relevanz der Chunks zur Frage zu bestimmen.
• Kontextverlust: Es gibt keine Garantie, dass ein einzelner Chunk alle notwendigen Informationen enthält, um eine vollständige Antwort zu geben.
• Chunk-Definition: Es gibt viele Methoden zur Aufteilung des Textes (z. B. gleich große Abschnitte oder nach Überschriften); die beste Methode muss für die Anwendung evaluiert werden.

Takeaways

• RAG (Retrieval Augmented Generation) ist eine Methode, um LLMs mit spezifischem Wissen aus externen, großen Dokumentensätzen zu versehen, da die gesamte Information nicht in den Prompt passt.
• Das RAG-Verfahren ist zweistufig: Zuerst wird das Dokument in kleine Abschnitte (Chunks) zerlegt, und anschließend werden nur die relevantesten Chunks zur Beantwortung der Frage an das LLM übergeben.
• Ein Hauptvorteil von RAG ist die Skalierbarkeit und Effizienz, da das LLM sich auf fokussierten, relevanten Inhalt konzentrieren kann, was zu kleineren Prompts führt.
• Die größte Herausforderung liegt in der Komplexität des Vorverarbeitungsprozesses (Chunking) und der Notwendigkeit eines zuverlässigen Suchmechanismus zur Bestimmung der Relevanz.