A multi-search RAG pipeline

Studie-opmerkingen: Hybride Zoekoplossingen

• Doel: Het combineren van verschillende zoekmethoden (zoals Semantische Zoekoplossingen/Vector Index en Lexicale Zoekoplossingen/BM25 Index) tot één krachtige zoekpijplijn.
• De Retriever Klasse:
• Dit is de centrale klasse die de verschillende zoekindexen omhult.
• De Retriever ontvangt de gebruikersvraag en stuurt deze door naar alle ingebedde indexen.
• De Retriever is verantwoordelijk voor het verzamelen en samenvoegen van de resultaten.
• API Consistentie:
• Een cruciale vereiste is dat alle onderliggende indexen een bijna identieke publieke API hebben (bijv. methoden zoals add document en search). Dit maakt de integratie in de Retriever mogelijk.
• Resultaten Samenvoegen (Merging):
• De techniek die wordt gebruikt om resultaten van verschillende methoden te combineren, is Reciprocal Rank Fusion (RRF).
• RRF-proces:
• Verzamel alle zoekresultaten en hun bijbehorende rang (rank) uit elke zoekbron.
• Pas de RRF-formule toe op elke tekstchunk:

Score = Som van (1 / (rang + 1)) voor elke bron.

• Sorteer de resultaten op basis van de berekende score (van hoog naar laag).
• Voordelen van de Hybride Aanpak:
• Modulariteit: Omdat elke index een consistente API heeft, kunnen nieuwe zoekmethoden eenvoudig worden toegevoegd aan de Retriever zonder de bestaande code aan te passen.
• Verbeterde Nauwkeurigheid: Het combineren van verschillende zoekstrategieën leidt tot betere en relevantere zoekresultaten dan één enkele methode alleen.

Takeaways

• Hybride Zoekoplossingen combineren verschillende zoekmethoden (zoals Semantische Zoekoplossingen en Lexicale Zoekoplossingen) tot één krachtige pijplijn.
• De Retriever is de centrale klasse die alle onderliggende zoekindexen omhult, de gebruikersvraag doorstuurt en de resultaten samenvoegt.
• Een cruciale vereiste is dat alle indexen een consistente publieke API hebben (bijv. add document en search) om integratie in de Retriever mogelijk te maken.
• De techniek Reciprocal Rank Fusion (RRF) wordt gebruikt om resultaten van verschillende zoekbronnen te combineren, waarbij de score wordt berekend als de som van (1 / (rang + 1)).
• De hybride aanpak biedt voordelen zoals verbeterde nauwkeurigheid en modulariteit, waardoor nieuwe zoekmethoden eenvoudig kunnen worden toegevoegd.