The full RAG flow

RAG-Pipeline: Schlüsselkonzepte

**I. Überblick über die RAG-Pipeline**

• Ziel: Integration von Text-Chunking, Text-Embeddings und der RAG-Verarbeitung zu einem vollständigen System.
• Phasen:
• Preprocessing (Vorbereitung): Dokument → Chunking → Embedding → Speicherung.
• Query-Phase (Abfrage): Benutzer-Abfrage → Embedding → Suche → Generierung.

**II. Preprocessing (Vorbereitung der Daten)**

• Text Chunking: Große Quelldokumente werden in kleinere, handhabbare Textstücke (Chunks) zerlegt.
• Text Embeddings: Jeder Text-Chunk wird mithilfe eines Embedding-Modells in einen numerischen Vektor umgewandelt.
• Vektor: Eine lange Liste von Zahlen, die die semantische Bedeutung des Textes kodiert.
• Dimension: Jede Zahl (Dimension) im Vektor repräsentiert typischerweise einen spezifischen Themenbereich (z. B. Medizin, Software Engineering).
• Normalisierung: Der Prozess skaliert die Größe (Magnitude) jedes Vektors auf 1. 0. Dies stellt sicher, dass alle Vektoren auf einer Einheit liegen (Einheitskreis).
• Vector Database (Vektordatenbank): Speichert die generierten Vektoren und ist optimiert für das schnelle Suchen und Vergleichen dieser numerischen Listen.

**III. Die Abfrage und das Retrieval (Abruf)**

• Abfrage-Embedding: Die Benutzer-Abfrage wird durch dasselbe Embedding-Modell wie die Quelldokumente in einen Abfrage-Vektor umgewandelt.
• Ähnlichkeitssuche: Die Vektordatenbank sucht nach dem gespeicherten Vektor, der dem Abfrage-Vektor am nächsten liegt.
• Mathematische Grundlage (Cosine Similarity):
• Misst den Winkel zwischen dem Abfrage-Vektor und den gespeicherten Vektoren.
• Ergebnis liegt zwischen -1 und 1.
• Wert nahe 1 → Hohe Ähnlichkeit (relevant).
• Wert nahe -1 → Geringste Ähnlichkeit (nicht relevant).
• Cosine Distance: Eine alternative Metrik, berechnet als 1 minus Cosine Similarity.
• Wert nahe 0 → Hohe Ähnlichkeit.

**IV. Generierung der Antwort**

• Prompt-Erstellung: Der relevante Text-Chunk (mit hoher Ähnlichkeit) wird zusammen mit der ursprünglichen Benutzer-Abfrage in einen Prompt integriert.
• LLM-Generierung: Dieser Prompt wird an ein großes Sprachmodell (LLM) gesendet, welches die Antwort basierend auf dem bereitgestellten Kontext generiert.

Takeaways

• Die RAG-Pipeline besteht aus zwei Hauptphasen: Preprocessing (Datenvorbereitung) und Query-Phase (Abfrage und Generierung).
• Im Preprocessing werden Dokumente in Text-Chunks zerlegt und diese Chunks mithilfe eines Embedding-Modells in numerische Vektoren umgewandelt.
• Die Vektordatenbank speichert diese Vektoren und ermöglicht die Ähnlichkeitssuche, indem sie den Abfrage-Vektor mit den gespeicherten Vektoren vergleicht.
• Die Ähnlichkeit wird typischerweise mittels Cosine Similarity gemessen, wobei ein Wert nahe 1 eine hohe Relevanz anzeigt.
• Der relevante Text-Chunk wird zusammen mit der Benutzer-Abfrage in einen Prompt integriert, um die finale Antwort vom LLM generieren zu lassen.