BM25 lexical search

📝 Notes de Cours : Amélioration des Pipelines RAG

Problématique de la Recherche Sémantique

• Limitation : La recherche sémantique seule (RAG) peut parfois produire des résultats imprécis ou non pertinents (faux positifs), même si elle est efficace dans la majorité des cas.
• Exemple : Un terme spécifique peut apparaître dans des sections non liées, faussant le classement des résultats.

Stratégie d'Amélioration : Approche Hybride

• Concept : Combiner la recherche sémantique avec un système de recherche lexicale classique.
• Objectif : Obtenir un meilleur équilibre entre la compréhension contextuelle (sémantique) et la correspondance exacte de mots (lexicale).

Le Système de Recherche Lexicale : BM25

• Définition : BM25 (Best Match 25) est un algorithme couramment utilisé pour la recherche de texte classique.
• Processus de BM25 :
• Tokenisation : Décomposer la requête de l'utilisateur en termes individuels (en supprimant la ponctuation).
• Fréquence : Compter l'occurrence de chaque terme dans l'ensemble des documents.
• Pondération : Attribuer une importance relative à chaque terme. Les termes utilisés rarement dans le corpus reçoivent un poids plus élevé (ils sont considérés comme plus significatifs).
• Score : Identifier le segment de texte qui utilise le plus fréquemment les termes ayant le poids le plus élevé.

Mise en Œuvre et Fusion des Résultats

• Architecture : Deux systèmes de recherche distinctent sont mis en place :
• Le système de recherche sémantique (via les embeddings et la base vectorielle).
• Le système de recherche lexicale (via BM25).
• Étape Finale : Les résultats des deux systèmes sont fusionnés pour maximiser la pertinence de la réponse finale.

Takeaways

• La recherche sémantique seule (RAG) peut souffrir d'imprécision et générer des faux positifs.
• L'amélioration passe par une approche hybride combinant la recherche sémantique et la recherche lexicale.
• BM25 est l'algorithme de recherche lexicale utilisé, fonctionnant par tokenisation et pondération des termes.
• Dans BM25, les termes rares dans le corpus reçoivent un poids plus élevé, augmentant leur importance.
• L'architecture finale fusionne les résultats des systèmes sémantique et lexique pour maximiser la pertinence.