A Multi-Index RAG pipeline

📚 Lernnotizen: Hybrid Search und Retriever

**1. Problem und Lösung (Hybrid Search)**

• Ziel: Kombination von semantischer Suche (z. B. Vector Index) und lexikalischer Suche (z. B. BM25 Index) zu einer einzigen, leistungsstärkeren Suchpipeline.
• Implementierung: Verwendung einer neuen Klasse, dem Retriever.
• Funktionsweise des Retrievers:
• Empfängt die Benutzeranfrage (Query).
• Leitet die Anfrage an alle enthaltenen Suchindizes (z. B. Vector Index, BM25 Index) weiter.
• Empfängt die Ergebnisse aller Indizes.
• Führt eine Merge Operation durch, um die Ergebnisse zu kombinieren.

**2. Schlüsselkonzept: Reciprocal Rank Fusion (RR Fusion)**

• Zweck: Eine Technik zur Kombination von Suchergebnissen aus verschiedenen Methoden.
• Vorgehen:
• Alle Suchergebnisse aus allen Indizes werden in einer einzigen Tabelle zusammengeführt.
• Für jeden Textabschnitt wird der Rang (Position) aus jedem Index erfasst.
• Ein spezifisches Formel wird angewendet, um einen kombinierten Score zu berechnen.
• RR Fusion Formel (Konzept):
• Für jeden Rang r (z. B. Rang 1, Rang 2, ... ) wird ein Term berechnet: $\frac{1}{1 + r}$.
• Die kombinierten Scores aller Terme werden addiert, um den finalen Score des Textabschnitts zu erhalten.
• Die Ergebnisse werden anschließend nach diesem kombinierten Score sortiert (größter Score → relevanteste Ergebnisse).

**3. Vorteile des Designs**

• Konsistenz (API): Sowohl der Vector Index als auch der BM25 Index besitzen eine nahezu identische öffentliche API (z. B. Methoden add document und search).
• Modularität: Durch die einheitliche API können verschiedene Suchmethoden isoliert entwickelt und dann einfach in den Retriever "eingewickelt" werden.
• Erweiterbarkeit: Es ist einfach, neue Suchindizes hinzuzufügen, solange sie die erforderliche API implementieren.

**4. Anwendung und Ergebnis**

• Testfall: Die Kombination von Vector Search und BM25 führte zu einer signifikanten Verbesserung der Suchqualität.
• Ergebnis: Der Retriever lieferte relevantere und präzisere Ergebnisse (z. B. korrekte Zuordnung von "Software Engineering" als zweites Ergebnis), als es mit nur einem Index möglich war.

Takeaways

• Hybrid Search kombiniert semantische Suche (Vector Index) und lexikalische Suche (BM25 Index) zu einer leistungsstärkeren Suchpipeline.
• Der Retriever ist die zentrale Klasse, die die Benutzeranfrage an alle Indizes sendet und die Ergebnisse anschließend mittels Merge Operation kombiniert.
• Reciprocal Rank Fusion (RR Fusion) berechnet einen kombinierten Score für jeden Textabschnitt mithilfe der Formel 1 / (1 + r), wobei r der Rang ist.
• Die einheitliche API (z. B. add document, search) gewährleistet Modularität und ermöglicht die einfache Erweiterung des Systems um neue Suchmethoden.