BM25 lexical search

🇫🇷 Notes de Cours : Amélioration des Pipelines RAG

💡 Problématique de la Recherche Sémantique

• Limites du RAG initial : La recherche sémantique seule peut parfois produire des résultats non pertinents (faux positifs), même si le terme de recherche est présent dans le document.
• Exemple : Un terme spécifique peut apparaître dans des sections non liées au sujet principal.

🛠️ Stratégie d'Amélioration : Approche Hybride

• Objectif : Améliorer la pertinence des résultats en combinant deux types de recherche.
• Méthode :
• Recherche Sémantique : Utilisation des embeddings et de la base de données vectorielle (méthode actuelle).
• Recherche Lexicale : Implémentation d'un système de recherche textuelle classique.
• Résultat attendu : Un ensemble de résultats équilibré, combinant la compréhension sémantique et la correspondance textuelle exacte.

🔍 Le Mécanisme de Recherche Lexicale : BM25

• BM25 (Best Match 25) : Algorithme couramment utilisé pour la recherche textuelle classique dans les pipelines RAG.
• Étapes du processus BM25 :
• Tokenisation : Découpage de la requête utilisateur en mots individuels (suppression de la ponctuation et séparation par espaces).
• Comptage de Fréquence : Calcul de la fréquence d'occurrence de chaque terme dans tous les morceaux de texte (chunks).
• Attribution de Poids (Importance) : Les termes rares (faible fréquence globale) reçoivent un poids d'importance plus élevé, car ils sont plus spécifiques.
• Classement : Identification du morceau de texte qui utilise le plus les termes fortement pondérés.

⚙️ Workflow d'Implémentation BM25

• Préparation :
• Découpage du texte par section (Chunking).
• Création d'un index BM25 (Store).
• Ajout de chaque morceau de texte à cet index.
• Recherche : Soumission de la requête au store BM25 pour obtenir un classement basé sur la fréquence et le poids des termes.

🤝 Conclusion : Fusion des Systèmes

• Étape future : Fusion des résultats provenant du système de recherche sémantique et du système de recherche lexicale (BM25).
• But : Obtenir le meilleur des deux mondes : la richesse sémantique et la précision textuelle.

Takeaways

• La recherche sémantique seule peut produire des faux positifs, limitant la pertinence des résultats.
• L'approche hybride combine la recherche sémantique (embeddings) et la recherche lexicale pour un ensemble de résultats équilibré.
• BM25 est l'algorithme utilisé pour la recherche textuelle classique, basé sur la tokenisation et le comptage de fréquence.
• Dans BM25, les termes rares reçoivent un poids d'importance plus élevé pour améliorer le classement des morceaux de texte.
• L'objectif final est la fusion des résultats sémantiques et lexicaux pour maximiser la précision et la richesse.