The full RAG flow

RAG-Pipeline: Schlüsselkonzepte

**I. Vorverarbeitung (Pre-Processing)**

• Text-Chunking: Der Quelltext wird in kleinere, separate Textstücke (Chunks) zerlegt.
• Text-Embeddings: Jeder Chunk wird mithilfe eines Embedding-Modells in eine numerische Darstellung (Vektor) umgewandelt.
• Funktion: Die Vektoren erfassen die semantische Bedeutung des Textes (z. B. medizinisch vs. Software-Engineering).
• Annahme: Ein ideales Modell liefert Vektoren einer festen Länge (z. B. 3 Dimensionen).
• Normalisierung: Die Länge (Magnitude) jedes Vektors wird auf 1,0 skaliert. Dies stellt sicher, dass alle Vektoren auf einem Einheitskreis liegen.
• Speicherung: Die generierten Vektoren und ihre zugehörigen Chunks werden in einer Vektor-Datenbank gespeichert. Diese Datenbank ist optimiert für das Speichern und Abgleichen langer Zahlenlisten.

**II. Abfrage und Abruf (Query & Retrieval)**

• Abfrage-Embedding: Die Benutzeranfrage (Query) wird mit demselben Embedding-Modell in einen Vektor umgewandelt.
• Suche in der Vektor-Datenbank: Der Abfrage-Vektor wird in die Datenbank eingespeist, um den Vektor zu finden, der dem Abfrage-Vektor am ähnlichsten ist.
• Kosinus-Ähnlichkeit (Cosine Similarity): Dies ist die mathematische Methode, um die Ähnlichkeit zwischen dem Abfrage-Vektor und den gespeicherten Chunks zu messen.
• Berechnung: Kosinus des Winkels zwischen den Vektoren.
• Ergebnis: Ein Wert zwischen -1 und 1.
• Interpretation:
• Wert nahe 1 → Hohe Ähnlichkeit (relevant).
• Wert nahe -1 → Geringste Ähnlichkeit (nicht relevant).
• Kosinus-Distanz (Cosine Distance): Eine alternative Metrik, die oft in Datenbanken verwendet wird.
• Berechnung: 1 minus Kosinus-Ähnlichkeit.
• Interpretation:
• Wert nahe 0 → Hohe Ähnlichkeit.
• Größere Werte → Geringere Ähnlichkeit.

**III. Generierung (Generation)**

• Prompt-Erstellung: Der ursprünglich von der Nutzerin gestellte Text wird mit dem relevantesten, gefundenen Text-Chunk aus der Vektor-Datenbank kombiniert.
• LLM-Verarbeitung: Dieser erweiterte Prompt wird an das große Sprachmodell (LLM, z. B. Claude) gesendet, um die finale, kontextualisierte Antwort zu generieren.

Takeaways

• Der Quelltext wird in Chunks zerlegt und mithilfe von Embedding-Modellen in numerische Vektoren umgewandelt, die in einer Vektor-Datenbank gespeichert werden.
• Die Benutzeranfrage wird ebenfalls in einen Vektor umgewandelt, um die semantische Ähnlichkeit zu messen.
• Die relevantesten Text-Chunks werden mithilfe der Kosinus-Ähnlichkeit (oder Kosinus-Distanz) im Vergleich zum Abfrage-Vektor gefunden.
• Der gefundene Kontext wird mit der ursprünglichen Anfrage kombiniert und an das große Sprachmodell (LLM) gesendet, um die finale Antwort zu generieren.