BM25 lexical search

Studiennotizen: Verbesserung der RAG-Pipeline durch hybride Suche

**I. Problem der reinen semantischen Suche**

• Herausforderung: Die semantische Suche (basierend auf Embeddings und Vektordatenbanken) kann in bestimmten Randfällen (Corner Cases) unzuverlässige oder irrelevante Ergebnisse liefern.
• Beispiel: Ein Suchbegriff wird gefunden, aber die zurückgegebene Quelle ist thematisch irrelevant, da die semantische Ähnlichkeit nicht präzise genug ist.

**II. Hybrider Suchansatz**

• Strategie: Kombination von zwei unabhängigen Suchsystemen, um die Stärken beider Methoden zu nutzen.
• System 1: Semantische Suche: Nutzt Embeddings und Vektordatenbanken, um die Bedeutung der Anfrage zu erfassen.
• System 2: Lexikalische Suche: Nutzt klassische Textanalyse, um die exakten Wörter der Anfrage zu finden.
• Ziel: Die Ergebnisse beider Systeme werden später zusammengeführt (merged), um eine ausgewogenere und präzisere Ergebnisliste zu erhalten.

**III. Lexikalische Suche: Der BM25-Algorithmus**

• Definition: BM25 (Best Match 25) ist eine gängige Technik für die klassische Textsuche in RAG-Pipelines.
• Funktionsweise (Schritte):
• Tokenisierung: Die Suchanfrage wird in einzelne Wörter (Tokens) zerlegt (z. B. Entfernen von Satzzeichen und Trennung nach Leerzeichen).
• Häufigkeitszählung (Term Frequency): Es wird gezählt, wie oft jedes Suchwort in den verschiedenen Text-Chunks (Dokumenten) vorkommt.
• Gewichtung (Weighting): Wörtern wird eine relative Wichtigkeit zugewiesen.
• Wörter, die sehr häufig vorkommen (z. B. "ein", "der"), erhalten eine geringere Gewichtung, da sie wenig spezifisch sind.
• Wörter, die selten vorkommen (z. B. spezifische IDs oder Fachbegriffe), erhalten eine höhere Gewichtung, da sie spezifischer sind.
• Ranking: Es wird der Text-Chunk mit den am häufigsten vorkommenden hoch gewichteten Begriffen zurückgegeben.

**IV. Zusammenfassung des Workflows**

• Input: Benutzer-Abfrage.
• Prozess:
• Abfrage → Semantisches Suchsystem (Ergebnis-Set A)
• Abfrage → Lexikalisches Suchsystem (BM25) (Ergebnis-Set B)
• Ergebnis-Set A + Ergebnis-Set B → Merging → Endgültige, optimierte Suchergebnisse.

Takeaways

• Hybride Suche kombiniert semantische und lexikalische Ansätze, um die unzuverlässigen Ergebnisse reiner semantischer Suche zu beheben.
• Die semantische Suche nutzt Embeddings, um die Bedeutung der Suchanfrage zu erfassen.
• Die lexikalische Suche (z. B. BM25) sucht nach exakten Wörtern und gewichtet seltene, spezifische Begriffe höher als häufige Wörter.
• Der gesamte Workflow optimiert die Suchergebnisse durch das Merging der Ergebnisse aus dem semantischen und dem lexikalischen System.