BM25 lexical search

Studie-opmerkingen: Verbetering van RAG-pipelines

• Probleem met Semantische Zoekopdracht: Initiële RAG-pipelines (die gebruikmaken van semantische embeddings) kunnen in 'corner cases' onverwachte of irrelevante resultaten opleveren.
• Oplossing: Hybride Zoekopdracht: Combineere de sterke punten van Semantische Zoekopdracht met een Lexicale Zoekopdracht.
• Lexicale Zoekopdracht (BM25): Dit is een klassieke tekstzoekmethode die wordt gebruikt om de zoekresultaten te verbeteren.
• Proces van BM25:
• Tokenisatie: De zoekvraag wordt opgesplitst in individuele woorden (termen).
• Frequentietelling: Tel hoe vaak elke term voorkomt in alle documenten/chunks.
• Gewicht Toekennen: Termen die zeldzaam zijn (lage frequentie), krijgen een hogere zoekprioriteit (hogere gewichten).
• Chunk Selectie: Zoek de tekstchunk die de meest gewogen termen vaker gebruikt.
• Einddoel: Door de resultaten van zowel het Semantische Zoek-systeem als het Lexicale Zoek-systeem te combineren (mergen), wordt een gebalanceerd en nauwkeuriger zoekresultaat bereikt.

Takeaways

• Initiële RAG-pipelines met semantische embeddings kunnen in 'corner cases' irrelevante resultaten geven.
• De oplossing is een hybride zoekopdracht die semantische en lexicale zoekopdrachten combineert.
• Lexicale zoekopdrachten (zoals BM25) werken door termen te tokeniseren en frequentie te tellen.
• Bij BM25 krijgen zeldzame termen een hogere zoekprioriteit (hogere gewichten) in de chunk selectie.
• Het einddoel is het mergen van de resultaten van beide systemen voor een gebalanceerd en nauwkeurig zoekresultaat.