BM25 lexical search

📚 Lernnotizen: Verbesserung der RAG-Pipeline

Problem der Semantischen Suche:

• Die rein semantische Suche kann in bestimmten Fällen (Corner Cases) zu ungenauen oder irrelevanten Suchergebnissen führen, selbst wenn die Technik grundsätzlich gut funktioniert.

Lösung: Hybrid-Ansatz (Semantic + Lexical Search):

• Um die Genauigkeit zu erhöhen, wird die semantische Suche mit einer separaten lexikalen Suchmethode kombiniert.
• Ziel: Eine bessere Balance zwischen dem inhaltlichen Verständnis (semantisch) und der exakten Wortübereinstimmung (lexikal) zu erreichen.

Lexikalische Suche mit BM25 (Best Match 25):

• BM25 ist eine gängige Methode zur klassischen Textsuche in RAG-Pipelines.
• BM25-Algorithmus (Hochübersicht):
• Tokenisierung: Die Suchanfrage wird in einzelne Wörter (Tokens) zerlegt (z. B. Entfernen von Satzzeichen und Trennung nach Leerzeichen).
• Häufigkeitszählung: Es wird gezählt, wie oft jeder Suchbegriff in den Textabschnitten (Chunks) vorkommt.
• Gewichtung (Weighting): Jeder Begriff erhält eine relative Wichtigkeit.
• Sehr häufig verwendete Begriffe → geringe Wichtigkeit (nicht besonders aussagekräftig).
• Seltene Begriffe → hohe Wichtigkeit (hohe Suchrelevanz).
• Ranking: Der Textabschnitt wird als bestes Ergebnis zurückgegeben, der die hoch gewichteten Begriffe am häufigsten verwendet.

Implementierungsschritte (BM25):

• Schritt 1: Text in Abschnitte (Chunks) unterteilt.
• Schritt 2: Ein BM25-Index/Store wird erstellt.
• Schritt 3: Alle Textabschnitte werden dem Store hinzugefügt.
• Schritt 4: Die Suche im Store wird durchgeführt.

Zusammenführung der Ergebnisse:

• Die Ergebnisse aus dem semantischen Suchsystem und dem lexikalen Suchsystem werden am Ende zusammengeführt (Merged).
• Dies soll die Vorteile beider Ansätze nutzen und die Wahrscheinlichkeit erhöhen, dass die relevantesten Abschnitte gefunden werden.

Takeaways

• Die rein semantische Suche kann in bestimmten Fällen zu ungenauen Suchergebnissen führen.
• Zur Steigerung der Genauigkeit wird ein Hybrid-Ansatz gewählt, der semantische und lexikalische Suche kombiniert.
• BM25 ist eine gängige lexikalische Suchmethode, die die Relevanz von Textabschnitten durch Gewichtung bestimmt.
• Im BM25-Algorithmus erhalten seltene Suchbegriffe eine hohe Wichtigkeit, während häufige Begriffe eine geringe Wichtigkeit haben.
• Die Ergebnisse aus dem semantischen und dem lexikalen Suchsystem werden am Ende zusammengeführt (Merged), um die Gesamtgenauigkeit zu maximieren.