A multi-search RAG pipeline

📚 Lernnotizen: Hybrid Search und Retriever

Ziel: Kombination verschiedener Suchmethoden (z. B. semantische und lexikalische Suche) in einer einzigen Pipeline.

• Problemstellung: Es existieren separate Implementierungen für verschiedene Suchfunktionen (z. B. Vector Index für semantische Suche und BM25 Index für lexikalische Suche).
• Lösung: Der Retriever:
• Eine neue Klasse (Retriever) wird erstellt, um die verschiedenen Index-Implementierungen zu umschließen (zu "wrappen").
• Der Retriever empfängt die Benutzeranfrage und leitet diese an alle enthaltenen Index-Methoden weiter.
• Er ist für die Zusammenführung der Ergebnisse verantwortlich.
• Voraussetzung für die Integration:
• Alle Index-Implementierungen müssen eine nahezu identische öffentliche API besitzen (z. B. Methoden wie add document und search).
• Ergebnis-Fusion: Reciprocal Rank Fusion (RRF):
• RRF ist die verwendete Technik, um die Ergebnisse aus unterschiedlichen Suchmethoden zu kombinieren.
• Vorgehen:
• Alle Suchergebnisse und deren jeweilige Ränge (Positionen) aus allen Quellen werden gesammelt.
• Für jeden Textabschnitt wird ein neuer Score berechnet.
• RRF-Formel (Konzept): Der Score basiert auf der Summe von Termen, wobei jeder Term den Wert (eins geteilt durch eins plus der Rang) für eine bestimmte Suchquelle darstellt.
• Die Ergebnisse werden basierend auf diesem berechneten Score (höchster Score = relevanteste Treffer) sortiert.
• Vorteile des Ansatzes:
• Hybrid-Suche: Die Kombination verschiedener Techniken (z. B. Vektor + BM25) führt zu deutlich besseren und relevanteren Suchergebnissen.
• Modularität: Durch die standardisierte API kann der Retriever leicht um neue, völlig unterschiedliche Suchindex-Implementierungen erweitert werden.

Takeaways

• Hybrid Search kombiniert verschiedene Suchmethoden (z. B. semantische und lexikalische Suche) in einer einzigen Pipeline.
• Der Retriever dient als Wrapper, der die verschiedenen Index-Implementierungen umschließt und die Ergebnisse zusammenführt.
• Voraussetzung für die Integration ist, dass alle Index-Implementierungen eine nahezu identische öffentliche API besitzen.
• Die Ergebnis-Fusion erfolgt mittels Reciprocal Rank Fusion (RRF), bei der ein neuer Score basierend auf dem Rang (1 geteilt durch 1 plus der Rang) berechnet wird.
• Der Ansatz erhöht die Relevanz der Suchergebnisse und ermöglicht durch die standardisierte API hohe Modularität.