A Multi-Index RAG pipeline

Notes de Cours : Fusion de Recherche Hybride

• Objectif de l'Architecture Hybride : Combiner les résultats de différentes méthodes de recherche (ex. : recherche sémantique/Vector Index et recherche lexicale/BM25 Index) pour améliorer la pertinence globale.

• Le Rôle du Retriever (Récupérateur) :
• C'est une classe d'encapsulation qui sert de point d'entrée unique pour la recherche.
• Il reçoit la requête de l'utilisateur.
• Il transmet cette requête à tous les index sous-jacents (Vector Index, BM25, etc. ).
• Il reçoit les résultats de chaque index et les fusionne.

• Principe de Conception (API) :
• Pour que le Retriever fonctionne, tous les index doivent posséder une API publique identique (ex. : méthodes add_document et search).
• Cette uniformité permet d'ajouter facilement de nouvelles méthodes de recherche sans modifier le code du Retriever.

• Technique de Fusion : Reciprocal Rank Fusion (RRF)
• Principe : Combinaison des résultats basés sur leur position (rang) dans chaque liste de résultats.
• Processus :
• Créer un tableau unique regroupant tous les documents trouvés par tous les index.
• Enregistrer le rang (position) de chaque document pour chaque index.
• Appliquer la formule de score pour chaque document :
• Score = Somme de (1 / (1 + Rang_i)) pour chaque index i.
• Trier le tableau final en fonction de ce score (du plus grand au plus petit).

• Avantages :
• Améliore la qualité des résultats en tirant parti des forces de chaque méthode (ex. : le Vector Index pour le sens, le BM25 pour la correspondance exacte).
• Permet une architecture modulaire et extensible.

Takeaways

• L'architecture hybride combine des méthodes de recherche différentes (ex. : Vector Index et BM25 Index) pour améliorer la pertinence globale des résultats.
• Le Retriever agit comme point d'entrée unique, recevant la requête, la transmettant à tous les index sous-jacents, puis fusionnant les résultats.
• Le principe de conception exige que tous les index possèdent une API publique identique (ex. : add_document et search) pour garantir la modularité.
• La technique de fusion Reciprocal Rank Fusion (RRF) calcule le score d'un document comme la somme de (1 / (1 + Rang_i)) pour chaque index.