The full RAG flow

RAG-Pipeline: Schlüsselkonzepte

**I. Vorverarbeitung (Preprocessing)**

• Text Chunking: Der ursprüngliche Quelltext wird in kleinere, separate Textstücke (Chunks) zerlegt.
• Text Embeddings: Jeder Text-Chunk wird mithilfe eines Embedding-Modells in einen numerischen Vektor (Embedding) umgewandelt.
• Ein Embedding ist eine Liste von Zahlen, die die semantische Bedeutung des Textes kodiert.
• Beispiel: Ein Vektor könnte Scores für verschiedene Themen enthalten (z. B. Medizin: 0,9; Software Engineering: 0,3).
• Normalisierung: Die Vektoren werden skaliert, sodass ihre Länge (Magnitude) exakt 1,0 beträgt.
• Dies stellt sicher, dass alle Vektoren auf einer Einheitskugel liegen.
• Speicherung: Die generierten und normalisierten Embeddings werden in einer Vektor-Datenbank gespeichert.
• Diese Datenbank ist optimiert für das Speichern, Vergleichen und Abrufen langer Listen von Zahlen (Vektoren).

**II. Abfragephase (Query Phase)**

• Abfrage-Embedding: Die Benutzeranfrage (Query) wird mit demselben Embedding-Modell in einen Vektor umgewandelt.
• Abruf (Retrieval): Der Abfrage-Vektor wird in die Vektor-Datenbank eingespeist.
• Die Datenbank sucht nach dem gespeicherten Vektor, der dem Abfrage-Vektor am ähnlichsten ist.

**III. Mathematische Grundlagen (Similarity)**

• Kosinus-Ähnlichkeit (Cosine Similarity):
• Misst den Kosinus des Winkels zwischen dem Abfrage-Vektor und den gespeicherten Vektoren.
• Ergebnis liegt zwischen -1 und 1.
• Wert nahe 1 → Hohe Ähnlichkeit.
• Wert nahe -1 → Geringste Ähnlichkeit.
• Kosinus-Distanz (Cosine Distance):
• Berechnet als 1 minus die Kosinus-Ähnlichkeit.
• Wert nahe 0 → Hohe Ähnlichkeit.
• Größere Werte → Geringere Ähnlichkeit.

**IV. Generierung (Generation)**

• Prompt-Erstellung: Der relevante Text-Chunk (mit hoher Ähnlichkeit) wird zusammen mit der ursprünglichen Benutzeranfrage in einen Prompt integriert.
• LLM-Ausführung: Dieser Prompt wird an ein großes Sprachmodell (LLM) gesendet, um die finale Antwort zu generieren.

Takeaways

• Text-Chunking und Embeddings: Quelltexte werden in kleinere Stücke zerlegt und mithilfe eines Modells in numerische Vektoren (Embeddings) umgewandelt, die die semantische Bedeutung kodieren.
• Vektor-Datenbank: Die generierten und normalisierten Embeddings werden in einer Vektor-Datenbank gespeichert, die für den schnellen Vergleich und Abruf langer Zahlenlisten optimiert ist.
• Abruf (Retrieval): Die Benutzeranfrage wird ebenfalls vektorisiert und die Datenbank sucht nach dem gespeicherten Vektor, der dem Abfrage-Vektor am ähnlichsten ist.
• Ähnlichkeitsmessung: Die Relevanz wird primär durch die Kosinus-Ähnlichkeit gemessen, wobei ein Wert nahe 1 eine hohe thematische Übereinstimmung anzeigt.
• Generierung: Der abgerufene, relevante Text-Chunk wird zusammen mit der ursprünglichen Anfrage in einen Prompt integriert, um das LLM zur finalen Antwort zu führen.