A multi-search RAG pipeline

Notes de Cours : Fusion de Recherche Hybride

**I. Architecture du Retriever (Le Pipeline de Recherche)**

• Objectif : Combiner les fonctionnalités de recherche sémantique (Index Vectoriel) et de recherche lexicale (Index BM25) en un seul pipeline.
• Le Retriever : Une nouvelle classe (Retriever) est créée pour agir comme une classe enveloppante (wrapper).
• Fonctionnement :
• Le Retriever reçoit la requête de l'utilisateur.
• Il transmet cette requête aux méthodes de recherche de tous les index contenus (ex: Vector Index et BM25 Index).
• Il reçoit les résultats de chaque index.
• Il applique une logique de fusion pour combiner ces résultats en une liste unique et optimisée.
• Prérequis Clé : Pour que le Retriever fonctionne, tous les index sous-jacents doivent posséder une API publique presque identique (méthodes comme add_document et search).

**II. Technique de Fusion : Reciprocal Rank Fusion (RRF)**

• Définition : RRF est la technique utilisée pour combiner les résultats provenant de méthodologies de recherche différentes.
• Processus :
• Collectage : Rassembler tous les résultats de tous les index dans un tableau unique.
• Attribution de Rang : Pour chaque résultat, enregistrer son rang (position de recherche) dans chaque index individuel.
• Application de la Formule : Calculer un score final pour chaque résultat en utilisant la formule RRF.
• Tri : Trier le tableau final en fonction de ce score, du plus élevé au plus bas.
• Formule RRF (pour un rang i) :

Score = Somme de (1 / (1 + rang i)) pour chaque index.

**III. Avantages du Modèle Hybride**

• Modularité : Chaque index (Vector, BM25, etc. ) est développé comme une classe isolée.
• Extensibilité : Grâce à l'API standardisée, il est facile d'ajouter de nouvelles méthodes de recherche à la classe Retriever sans modifier le code existant.
• Amélioration de la Précision : La combinaison de différentes techniques de recherche (sémantique et lexicale) conduit à des résultats de recherche significativement meilleurs et plus pertinents que l'utilisation d'une seule méthode.

Takeaways

• Le Retriever agit comme une classe enveloppante pour combiner la recherche sémantique (Index Vectoriel) et la recherche lexicale (Index BM25).
• Pour fonctionner, tous les index sous-jacents doivent posséder une API publique standardisée (méthodes comme add_document et search).
• La technique de fusion utilisée est la Reciprocal Rank Fusion (RRF), qui calcule un score final pour chaque résultat.
• La formule RRF est : Score = Somme de (1 / (1 + rang i)) pour chaque index.
• Le modèle hybride offre une modularité et une extensibilité accrues, menant à une amélioration significative de la précision des résultats.