Implementing the RAG flow

RAG Workflow: Key Concepts

Allgemeiner Ablauf (RAG Flow):

• Der gesamte RAG-Workflow wird in fünf Hauptschritten implementiert.

Schritt 1: Text-Chunking (Text in Abschnitte zerlegen)

• Der Ausgangstext (z. B. report. md) wird in kleinere Abschnitte (Chunks) zerlegt.
• Dies wird mithilfe einer Funktion wie chunk_by_section durchgeführt.

Schritt 2: Embedding-Generierung

• Für jeden Text-Chunk wird ein numerisches Vektor-Embedding erstellt.
• Die Funktion generate_embedding kann entweder einen einzelnen String oder eine Liste von Strings verarbeiten und eine entsprechende Liste von Embeddings zurückgeben.

Schritt 3: Speicherung im Vektor-Store (Vector Store)

• Ein Vektor-Store wird initialisiert.
• Jedes Paar aus Chunk und Embedding wird in den Store eingefügt (store. add_vector).
• Wichtig: Beim Speichern wird neben dem Embedding auch ein Dictionary mit dem ursprünglichen Inhalt des Chunks gespeichert. Dies ist notwendig, um später den relevanten Text zurückzuholen, da das Embedding selbst keinen direkten Sinn für den Entwickler hat.

Schritt 4: Benutzer-Query-Embedding

• Wenn ein Benutzer eine Frage stellt, wird diese Frage ebenfalls in ein Embedding umgewandelt (generate_embedding). Dieses wird als "User Embedding" bezeichnet.

Schritt 5: Abfrage und Suche (Retrieval)

• Der Vektor-Store wird mit dem User Embedding durchsucht (store. search).
• Es kann festgelegt werden, wie viele relevante Chunks gefunden werden sollen (z. B. die zwei relevantesten Chunks).
• Die Ergebnisse umfassen den gefundenen Dokumenteninhalt und die Distanz (z. B. Kosinus-Distanz) zum Query-Embedding.

Zusammenfassung der Komponenten:

• Chunking: Zerlegung großer Texte in handhabbare Einheiten.
• Embedding: Umwandlung von Text in numerische Vektoren.
• Vector Store: Datenbank zur Speicherung und Suche nach semantisch ähnlichen Vektoren.
• Ziel: Die Suche liefert nicht nur den Vektor, sondern den zugehörigen Text, um die Frage des Benutzers zu beantworten.

Takeaways

• Der RAG-Workflow beginnt mit dem Chunking, bei dem große Texte in kleinere, handhabbare Abschnitte zerlegt werden.
• Jeder Text-Chunk wird mithilfe einer Funktion in ein numerisches Vektor-Embedding umgewandelt.
• Der Vektor-Store speichert das Embedding zusammen mit dem ursprünglichen Textinhalt, um die Rückverfolgbarkeit zu gewährleisten.
• Bei einer Benutzer-Query wird diese ebenfalls in ein Embedding umgewandelt, um semantische Ähnlichkeit zu ermitteln.
• Die Suche im Vektor-Store liefert den relevanten Textinhalt, der zur Beantwortung der Benutzerfrage dient.