A Multi-index RAG pipeline

📝 Notes de Cours : Recherche Hybride et Fusion de Résultats

**I. Architecture de la Recherche Hybride**

• Objectif : Combiner les capacités de différentes méthodes de recherche (ex. : Recherche Sémantique/Vector Index et Recherche Lexicale/BM25 Index) en un seul pipeline.
• Composant Clé : La classe Retriever (Récupérateur).
• Elle reçoit la requête de l'utilisateur.
• Elle transmet la requête à tous les index internes.
• Elle reçoit les résultats et effectue la fusion.
• Principe d'Intégration : Pour que le Retriever fonctionne, tous les index doivent posséder une API publique cohérente (méthodes add_document et search).

**II. Technique de Fusion : Reciprocal Rank Fusion (RRF)**

• Définition : Méthode utilisée pour combiner les listes de résultats provenant de différentes méthodologies de recherche.
• Processus de Fusion :
• Collectage : Rassembler tous les résultats et leurs rangs (position de recherche) respectifs de chaque index.
• Calcul du Score : Appliquer la formule RRF à chaque résultat.
• Formule : Score = 1 / (1 + rang)
• Tri Final : Trier l'ensemble des résultats en fonction du score calculé, du plus grand au plus petit.
• Résultat : Le résultat avec le score le plus élevé est considéré comme le plus pertinent.

**III. Avantages de l'Approche Hybride**

• Amélioration de la Pertinence : La combinaison des forces de différentes méthodes (ex. : sémantique + lexicale) conduit à des résultats plus précis.
• Modularité : Grâce à l'API standardisée, il est facile d'ajouter de nouvelles méthodes de recherche à la classe Retriever sans modifier son code interne.

Takeaways

• La recherche hybride combine différentes méthodes (ex. : sémantique et lexicale) dans un seul pipeline.
• Le composant central est la classe Retriever, qui gère la requête et effectue la fusion des résultats provenant des index.
• La Reciprocal Rank Fusion (RRF) est une technique de fusion qui combine les listes de résultats de diverses méthodes.
• Le score RRF pour un résultat est calculé par la formule : Score = 1 / (1 + rang).
• L'approche hybride offre une meilleure pertinence des résultats et une grande modularité.