Text embeddings

🧠 Lernnotizen: Semantische Suche und Text Embeddings

**I. RAG-Pipeline und Suchproblem**

• Ziel nach Chunk-Extraktion: Die RAG-Pipeline wartet auf eine Benutzeranfrage (Query).
• Aufgabe: Relevante Text-Chunks aus dem Dokument finden, die zur Beantwortung der Frage dienen.
• Problemstellung: Das Finden relevanter Chunks ist ein Suchproblem.
• Lösung: Semantische Suche (Semantic Search).

**II. Text Embeddings**

• Definition: Ein Text-Embedding ist eine numerische Darstellung der Bedeutung eines Textes.
• Erzeugung: Embeddings werden durch ein Embedding Model generiert.
• Struktur: Das Ergebnis ist eine lange Liste von Zahlen (der Embedding).
• Bedeutung der Zahlen: Jede Zahl in einem Embedding repräsentiert einen Score für eine bestimmte Qualität des Eingabetextes (z. B. Stimmung, Thema). Hinweis: Die genaue Bedeutung jeder Zahl ist nicht bekannt.

**III. Implementierung und Tools**

• Embedding-Generierung: Anthropic bietet diese Funktion aktuell nicht an.
• Empfohlener Anbieter: Voyage AI.
• Einrichtung:
• Erfordert ein separates Konto und einen API-Schlüssel.
• Der Schlüssel muss im . env-File unter dem Namen voyage_API_key gespeichert werden.
• Die Nutzung erfolgt über das Voyage AI SDK.

Takeaways

• Die RAG-Pipeline löst das Suchproblem, indem sie relevante Text-Chunks mittels Semantischer Suche findet.
• Ein Text-Embedding ist eine numerische Darstellung der Bedeutung eines Textes, die durch ein Embedding Model erzeugt wird.
• Jede Zahl in einem Embedding repräsentiert einen Score für eine spezifische Qualität des Eingabetextes.
• Für die Implementierung wird Voyage AI empfohlen, wobei der API-Schlüssel (voyage_API_key) im . env-File gespeichert werden muss.