Implementing the RAG flow

Studiennotizen: RAG Workflow und Vektordatenbanken

Kontext: Implementierung des Retrieval-Augmented Generation (RAG) Workflows mithilfe einer Vektordatenbank (VectorDB).

Kernkonzepte des RAG-Prozesses:

• Schritt 1: Chunking (Textzerlegung)
• Der gesamte Quelldokumententext (z. B. report. md) wird in kleinere, sinnvolle Abschnitte (Chunks) zerlegt.
• Ziel: Die Verarbeitung großer Texte in handhabbare Einheiten.
• Schritt 2: Embedding-Generierung
• Jeder Text-Chunk wird mithilfe einer Funktion (generate embedding) in einen numerischen Vektor (Embedding) umgewandelt.
• Transformation: Text → Vektor.
• Schritt 3: Indexierung und Speicherung (Vector Store)
• Ein Vektor-Speicher (Vector Store) wird erstellt.
• Speicherprinzip: Für jeden Chunk wird das Embedding und der ursprüngliche Text (oder eine Chunk-ID) zusammen in den Store eingefügt.
• Wichtigkeit: Die Speicherung des Originaltextes ist essenziell, da die Vektoren selbst für den Endnutzer keinen direkten Sinn ergeben.
• Schritt 4: Query Embedding (Abfrage-Vektorisierung)
• Wenn ein Benutzer eine Frage stellt, wird diese Frage ebenfalls in einen Vektor umgewandelt (user embedding).
• Schritt 5: Retrieval (Abruf/Suche)
• Der user embedding wird in den Vector Store gesucht.
• Die Datenbank identifiziert die N relevantesten Chunks, die dem Abfrage-Vektor am ähnlichsten sind.
• Ergebnis: Die Suche liefert die relevanten Dokumententeile (Chunks) und einen Ähnlichkeitsmaß (z. B. Kosinus-Distanz).

Zusammenfassende Abfolge: Dokument $\xrightarrow{\text{Chunking}}$ Chunks $\xrightarrow{\text{Embedding}}$ Vektoren $\xrightarrow{\text{Speichern}}$ Vector Store $\xrightarrow{\text{Abfrage}}$ User Embedding $\xrightarrow{\text{Suche}}$ Relevante Chunks.

Takeaways

• Chunking: Große Quelldokumente werden in kleinere, handhabbare Textabschnitte (Chunks) zerlegt.
• Embedding: Jeder Text-Chunk wird mithilfe einer Funktion in einen numerischen Vektor umgewandelt (Text → Vektor).
• Vector Store: Der Vektor-Speicher speichert das Embedding zusammen mit dem Originaltext, da die Vektoren allein für den Endnutzer keinen Sinn ergeben.
• Retrieval: Eine Benutzerabfrage wird vektorisiert und im Vector Store gesucht, um die relevantesten und ähnlichsten Chunks abzurufen.