BM25 lexical search

Studieopmerkingen: Verbetering van RAG-zoekresultaten

Probleem met Semantische Zoekopdrachten

• Semantische zoektechnieken zijn krachtig, maar kunnen in 'corner cases' (randgevallen) onverwachte of irrelevante resultaten opleveren.
• Voorbeeld: Een zoekopdracht kan een irrelevant document (bijv. Sectie 3) als hoog scorend resultaat retourneren, terwijl het meest relevante document (bijv. Sectie 2) wordt overgeslagen.

Oplossing: Hybride Zoekstrategie

• Om de zoekkwaliteit te verbeteren, wordt een combinatie van twee systemen gebruikt:
• Semantische Zoekopdracht: Gebruikt embeddings en een vector database (zoals in de huidige RAG-pipeline).
• Lexicale Zoekopdracht: Een klassieke tekstzoekmethode die op exacte woordmatches is gebaseerd.
• Het doel is om de sterke punten van beide systemen te combineren in één resultaatset.

Lexicale Zoekmethode: BM25 (Best Match 25)

• BM25 is een veelgebruikte methode voor tekstzoekopdrachten in RAG-pipelines.
• Stappen van het BM25-algoritme:
• Tokenization: De zoekopdracht wordt opgesplitst in individuele woorden (tokens); leestekens worden verwijderd.
• Frequentieberekening: Tel hoe vaak elk zoekterm voorkomt over alle documenten/chunks.
• Gewichttoekenning (Importance): Er wordt een relatieve belangrijkheid toegewezen aan elke term:
• Termen die vaak voorkomen (algemeen) → Lage belangrijkheid.
• Termen die zelden voorkomen (specifiek) → Hoge belangrijkheid.
• Resultaatselectie: Zoek de tekstchunk die de hoogst gewogen termen het meest bevat.

Implementatie en Resultaten

• Door BM25 toe te passen, wordt de zoekopdracht ('wat gebeurde er met incident 2023') succesvol geprioriteerd op basis van de zeldzaamheid van de term "incident 2023".
• Dit leidt tot een betere rangschikking van de resultaten (bijv. Software Engineering → Cybersecurity → Methodology).

Volgende Stap

• De uiteindelijke stap is het mergen van de resultaten van het semantische zoekstelsel en het lexicale (BM25) zoekstelsel om de beste zoekresultaten te garanderen.

Takeaways

• Semantische zoekopdrachten kunnen in randgevallen onverwachte of irrelevante resultaten opleveren.
• De oplossing is een Hybride Zoekstrategie die de sterke punten van semantische (embeddings) en lexicale zoekopdrachten combineert.
• BM25 is een lexicale methode die de relevantie verhoogde door zeldzame termen een hogere gewichttoekenning te geven.
• De uiteindelijke stap is het mergen van de resultaten van het semantische en het lexicale (BM25) zoekstelsel voor de beste zoekkwaliteit.