BM25 lexical search

Notes d'étude : Amélioration de la Recherche dans les Pipelines RAG

• Problème de la Recherche Sémantique Pure :
• La recherche sémantique peut parfois produire des résultats imprévus ou non pertinents (faux positifs), même si elle est généralement efficace.
• Exemple : Un terme recherché peut apparaître dans des sections non liées au sujet principal.

• Stratégie de Recherche Hybride :
• Pour améliorer la pertinence, on combine deux systèmes de recherche :
• Recherche Sémantique : Utilisation des embeddings et de la base de données vectorielle.
• Recherche Lexicale : Recherche de texte classique basée sur les mots.
• Les résultats des deux systèmes sont ensuite fusionnés pour obtenir un ensemble de résultats plus équilibré.

• Algorithme BM25 (Best Match 25) :
• C'est une méthode courante pour la recherche lexicale dans les pipelines RAG.
• Processus en quatre étapes :
• Tokenisation : Découper la requête utilisateur en mots (en supprimant la ponctuation et en séparant par les espaces).
• Fréquence des Termes : Compter l'occurrence de chaque mot de la requête dans l'ensemble des documents.
• Importance Relative (Pondération) : Attribuer un poids à chaque terme. Les termes utilisés très rarement dans le corpus reçoivent un poids plus élevé (ils sont considérés comme plus importants).
• Score du Segment : Identifier le segment de texte (chunk) qui utilise le plus souvent les termes ayant le poids le plus élevé.

• Objectif Final :
• Assurer que le système hybride combine la compréhension contextuelle (sémantique) avec la précision de la correspondance exacte des mots (lexicale/BM25).

Takeaways

• La recherche sémantique pure peut générer des résultats non pertinents (faux positifs), nécessitant une approche plus robuste.
• La stratégie de recherche hybride combine les embeddings (recherche sémantique) et la recherche lexicale pour fusionner les résultats.
• L'algorithme BM25 est une méthode lexicale qui utilise la tokenisation, la fréquence des termes et la pondération pour identifier les segments les plus pertinents.
• L'objectif final est d'assurer que le système hybride combine la compréhension contextuelle (sémantique) avec la précision de la correspondance exacte des mots (lexicale).