BM25 lexical search

RAG-Pipeline: Verbesserung der Suchgenauigkeit

Problem mit Semantischer Suche (Semantic Search):

• Semantische Suche kann zu unerwarteten oder irrelevanten Ergebnissen führen (Corner Cases).
• Beispiel: Suche nach einem spezifischen Incident (z. B. "Incident 2023 Q4011") liefert irrelevante Abschnitte (z. B. "Financial Analysis"), obwohl der Begriff im Text nur selten vorkommt.

Lösung: Kombination von Suchmethoden (Hybrid Search):

• Implementierung eines parallelen Lexikalen Suchsystems neben der semantischen Suche.
• Ziel: Eine bessere Balance zwischen semantischem Verständnis und klassischer Textabfrage zu erreichen.
• Der finale Schritt ist das Zusammenführen (Merging) der Ergebnisse beider Systeme.

Lexikalische Suche und BM25:

• Lexikalische Suche: Klassische Textsuche, bei der die Benutzeranfrage in einzelne Wörter zerlegt wird, um Textabschnitte zu finden, die diese Wörter enthalten.
• BM25 (Best Match 25): Eine gängige Methode zur Implementierung der lexikalischen Suche in RAG-Pipelines.

Funktionsweise des BM25-Algorithmus:

• Tokenisierung: Die Benutzeranfrage wird in separate Schlüsselwörter (Tokens) zerlegt (z. B. Entfernen von Satzzeichen und Trennung nach Leerzeichen).
• Häufigkeitszählung: Zähle, wie oft jedes Schlüsselwort in allen Textabschnitten (Chunks) vorkommt.
• Relative Wichtigkeit (Weighting):
• Wörter, die sehr häufig vorkommen (z. B. "a"), werden als weniger wichtig eingestuft.
• Wörter, die selten vorkommen (z. B. "Incident 2023"), werden als höher gewichtet und somit wichtiger für die Suche betrachtet.
• Ergebnisfindung: Der Textabschnitt wird ausgewählt, der die höher gewichteten Schlüsselwörter am häufigsten verwendet.

Zusammenfassung des Workflows:

• System 1: Semantische Suche (Generierung von Embeddings, Nutzung der Vektordatenbank).
• System 2: Lexikalische Suche (z. B. BM25-Index).
• Endziel: Beide Systeme parallel ausführen und die Ergebnisse zusammenführen, um die Stärken beider Ansätze zu nutzen.

Takeaways

• Semantische Suche kann zu unerwarteten oder irrelevanten Ergebnissen (Corner Cases) führen, insbesondere bei spezifischen Begriffswerten.
• Die Lösung ist Hybrid Search, der die Stärken der semantischen Suche und einer lexikalischen Suche kombiniert.
• Lexikalische Suche (z. B. BM25) funktioniert durch Tokenisierung und weist selten vorkommende Schlüsselwörter eine höhere Wichtigkeit (Weighting) zu.
• Der Workflow erfordert die parallele Ausführung beider Systeme (Semantisch und Lexikal) und das anschließende Zusammenführen (Merging) der Ergebnisse.