BM25 lexical search

📝 Studieopmerkingen: Verbetering van RAG met Hybride Zoekstrategieën

**1. Beperkingen van Semantisch Zoeken**

• Het initiële RAG-pijplijn (semantisch zoeken) kan in bepaalde 'corner cases' irrelevante resultaten opleveren, ondanks de hoge kwaliteit van de techniek.
• Het doel is om de zoekresultaten te verbeteren door zowel semantische als letterlijke (lexicale) zoekaspecten te combineren.

**2. Hybride Zoekstrategie**

• Strategie: Voer de gebruikersvraag tegelijkertijd door twee systemen:
• Semantisch zoek systeem (embeddings en vector database).
• Lexicaal zoek systeem (klassieke tekstzoekmethode).
• Resultaat: De resultaten van beide systemen worden samengevoegd (merged) om een beter evenwicht tussen semantische en tekstuele relevantie te bereiken.

**3. Lexicaal Zoeken: BM25 (Best Match 25)**

• BM25 is een veelgebruikte methode voor klassieke tekstzoekopdrachten in RAG-pijplijnen.
• Stappen van het BM25-algoritme:
• Tokenisatie: De gebruikersvraag wordt opgesplitst in individuele zoektermen (woorden), waarbij interpunctie wordt verwijderd.
• Termfrequentie: Tel hoe vaak elke zoekterm voorkomt in de gehele documenten- of tekstchunk-set.
• Relatieve Belangrijkheid: Wijs een gewicht toe aan elke term op basis van zijn frequentie.
• Termen die vaak voorkomen (bijv. 'a') krijgen een lagere prioriteit.
• Termen die zeldzaam zijn (bijv. 'incident 2023 q4011') krijgen een hogere prioriteit/weging.
• Scoring: Zoek de tekstchunk die de hoogst gewogen termen het meest bevat.

**4. Implementatie en Integratie**

• Twee Systemen: Er worden twee afzonderlijke zoekopslagplaatsen (stores) gebouwd: één voor semantisch zoeken en één voor lexicaal zoeken (BM25).
• API-consistentie: Beide systemen moeten een vergelijkbare API hebben (bijv. add document en search) om de resultaten later effectief te kunnen samenvoegen.
• Volgende Stap: De resultaten van de semantische en lexicale zoekopslagplaats worden gecombineerd om de beste zoekresultaten te garanderen.

Takeaways

• Semantisch zoeken heeft beperkingen in bepaalde 'corner cases'; daarom is een hybride strategie nodig om resultaten te verbeteren.
• De hybride zoekstrategie combineert de output van een semantisch zoek systeem (embeddings) en een lexicaal zoek systeem.
• BM25 is een veelgebruikte lexicale methode die de relevantie van tekstchunks bepaalt door zeldzame termen een hogere weging te geven.
• Implementatie vereist twee afzonderlijke zoekopslagplaatsen (semantisch en lexicaal) die via een consistente API hun resultaten kunnen samenvoegen.