Text embeddings

Studie-notities: Tekst-Embeddings in RAG

• Doel van de RAG-pipeline: Na het extraheren van tekstchunks, moet het systeem relevante chunks vinden die gerelateerd zijn aan de gebruikersvraag om deze als context te gebruiken.
• Oplossing: Dit zoekprobleem wordt opgelost via semantische zoekopdrachten.
• Kernconcept: Tekst-Embeddings:
• Een embedding is een numerieke representatie van de betekenis die in een tekst is vastgelegd.
• Ze worden gegenereerd door een embedding model.
• Het model produceert een lange lijst van getallen (de embedding).
• Kenmerken van Embeddings:
• De waarden binnen een embedding kunnen variëren van min één → plus één.
• Elk getal vertegenwoordigt een score van een bepaalde kwaliteit van de invoertekst (bijv. onderwerp, sentiment).
• Belangrijke opmerking: De exacte betekenis van elk individueel getal is onbekend; het is een nuttig conceptueel raamwerk om de tekst te begrijpen.
• Praktische Implementatie:
• Er moet een specifiek embedding model worden gespecificeerd (bijv. Titan embed text V2).
• Standaard is een gegenereerde embedding 1024 elementen lang.
• Belang: Embeddings vormen de numerieke basis waarmee de semantische zoekopdracht kan bepalen welke tekstchunks het meest relevant zijn voor de vraag.

Takeaways

• RAG gebruikt semantische zoekopdrachten om relevante tekstchunks te vinden op basis van de gebruikersvraag.
• Een embedding is een numerieke representatie van de betekenis van tekst, gegenereerd door een specifiek embedding model.
• De waarden binnen een embedding (vaak tussen minus één en plus één) vertegenwoordigen de betekenis en kwaliteit van de invoertekst.
• Embeddings vormen de numerieke basis waarmee de semantische zoekopdracht de relevantie van tekstchunks bepaalt.