Introducing Retrieval Augmented Generation

Studiennotizen: Retrieval Augmented Generation (RAG)

Definition:

• RAG (Retrieval Augmented Generation) ist eine Technik, um Large Language Models (LLMs) mit externem, spezifischem Wissen zu versehen, das nicht im Trainingsdatensatz enthalten ist.

Problemstellung:

• Wie kann man Informationen aus sehr großen Dokumenten (z. B. 100 bis 1000 Seiten) in ein LLM (z. B. Claude) übermitteln, um spezifische Fragen zu beantworten?

Vergleich der Methoden:

**1. Direkte Prompt-Methode (Naive):**

• Vorgehen: Der gesamte Text des Dokuments wird direkt in den Prompt des LLMs eingefügt.
• Nachteile:
• Es gibt eine harte Grenze für die Textmenge (Hard Limit); bei zu langen Dokumenten tritt ein Fehler auf.
• Die Effektivität des LLMs nimmt ab, je länger der Prompt wird.
• Gefahr des Kontextverlustes (das LLM verliert den Überblick).

**2. RAG-Methode (Retrieval Augmented Generation):**

• Vorgehen:
• Chunking (Zerlegung): Das große Dokument wird in kleine, überschaubare Textabschnitte (Chunks) zerlegt.
• Retrieval (Abruf): Bei einer Benutzerfrage wird ein Suchmechanismus verwendet, um die relevantesten Chunks aus dem gesamten Dokument zu finden.
• Augmentation (Ergänzung): Nur diese relevanten Chunks werden zusammen mit der Benutzerfrage in den Prompt des LLMs eingefügt.
• Vorteile:
• Das LLM kann sich auf den relevanten Inhalt konzentrieren.
• Skaliert auf sehr große Dokumentensammlungen (auch mehrere Dokumente).
• Führt zu kleineren Prompts → geringerer Zeitaufwand und geringere Kosten.
• Herausforderungen/Nachteile:
• Hohe Komplexität: Erfordert einen Vorverarbeitungsschritt (Chunking) und einen Suchmechanismus.
• Keine Garantie: Es ist nicht garantiert, dass die gefundenen Chunks alle nötigen Informationen enthalten, um die Frage vollständig zu beantworten.
• Chunk-Definition: Es gibt viele Möglichkeiten, Text zu zerlegen (z. B. gleich große Teile oder nach Überschriften), was eine sorgfältige Evaluierung erfordert.

Fazit:

• RAG ist eine anspruchsvolle Methode, die jedoch für die Anwendung von LLMs auf großen, komplexen Datensätzen unerlässlich ist.

Takeaways

• RAG (Retrieval Augmented Generation) versorgt LLMs mit spezifischem, externem Wissen, das nicht im Trainingsdatensatz enthalten ist.
• Der RAG-Prozess besteht aus drei Schritten: Chunking (Zerlegung des Dokuments), Retrieval (Abruf relevanter Abschnitte) und Augmentation (Hinzufügen der Chunks zum Prompt).
• Im Gegensatz zur direkten Prompt-Methode vermeidet RAG harte Textgrenzen und ermöglicht die Verarbeitung sehr großer Dokumentensammlungen.
• Obwohl RAG die Effizienz steigert, ist es komplex und es gibt keine Garantie, dass alle nötigen Informationen gefunden werden.