A Multi-index RAG pipeline

📚 Lernnotizen: Hybride Suchpipelines

Ziel: Kombination von semantischer Suche (Vector Index) und lexikalischer Suche (BM25 Index) zu einer einzigen, verbesserten Suchpipeline.

⚙️ Architektur und Design

• Retriever-Klasse: Eine neue Klasse, die als Orchestrator dient. Sie empfängt die Benutzeranfrage und leitet diese an alle integrierten Suchindizes weiter.
• API-Konsistenz: Damit die Komponenten zusammenarbeiten können, müssen alle Suchfunktionen (z. B. Vector Index, BM25 Index) eine nahezu identische öffentliche Schnittstelle (API) besitzen.
• Erforderliche Methoden: add document und search.
• Modularität: Durch die einheitliche API kann der Retriever leicht mit weiteren, völlig unterschiedlichen Suchmethoden erweitert werden.

📊 Ergebnis-Kombination: Reciprocal Rank Fusion (RRF)

• Definition: RRF ist die verwendete Technik, um die Ergebnisse aus verschiedenen Suchmethoden zu fusionieren.
• Vorgehensweise:
• Erfassung: Alle Suchergebnisse und deren jeweilige Rangposition (Rank) aus allen Quellen werden in einer Tabelle zusammengeführt.
• Berechnung des Scores: Für jeden Rang wird ein separater Term berechnet.
• Formel: 1 / (1 + Rang)
• Beispiel: Rang 1 → 1 / (1 + 1) = 0,5. Rang 2 → 1 / (1 + 2) = 0,33.
• Fusion: Die Terme aller Rangspalten werden für jeden Textabschnitt addiert, um einen Gesamtscore zu erhalten.
• Sortierung: Die fusionierten Ergebnisse werden basierend auf dem höchsten Score sortiert (höchster Score → relevanteste Antwort).

✅ Fazit

• Die Kombination verschiedener Suchtechniken (Hybrid-Ansatz) führt zu einer signifikanten Verbesserung der Suchgenauigkeit im Vergleich zur Nutzung einzelner Methoden.

Takeaways

• Ziel ist die Kombination semantischer Suche (Vector Index) und lexikalischer Suche (BM25 Index) in einer hybriden Pipeline.
• Die Retriever-Klasse fungiert als Orchestrator und leitet Anfragen an alle integrierten Suchindizes weiter.
• Für die Modularität muss jede Suchfunktion eine einheitliche API besitzen, insbesondere die Methoden add document und search.
• Die Ergebnis-Kombination erfolgt mittels Reciprocal Rank Fusion (RRF).
• RRF berechnet den Score für jeden Rang mit der Formel 1 / (1 + Rang) und summiert diese Terme zur finalen Sortierung.