Reranking results

Notes de Cours : Amélioration de la Récupération (Re-ranking)

• Problème de la Récupération Hybride :
• Le processus de récupération initial (combinaison de l'index vectoriel et de l'index BM25) présente des faiblesses.
• Même avec des requêtes spécifiques, le système peut ne pas prioriser le document le plus pertinent.

• Technique de Re-ranking (Réordonnancement) :
• Définition : Il s'agit d'une étape de post-traitement ajoutée après la recherche initiale (fusion des résultats Vector Index et BM25).
• Principe : Les résultats de recherche sont passés à un Grand Modèle de Langage (LLM, ex: Claude) via un prompt.
• Tâche du LLM : Le LLM est chargé de réordonner les documents trouvés en fonction de leur pertinence par rapport à la question de l'utilisateur.

• Optimisation de l'Efficacité :
• Pour éviter d'attendre que le LLM copie le texte complet de chaque segment (ce qui est inefficace), il est préférable de demander au LLM de retourner uniquement les identifiants (IDs) des documents dans l'ordre de pertinence décroissante.

• Mise en Œuvre Technique :
• Le processus utilise une fonction re-ranker appelée automatiquement après la recherche initiale.
• L'utilisation de structures de prompt spécifiques (XML, pré-remplissage du message de l'assistant et séquence d'arrêt) est employée pour garantir un format de sortie structuré (JSON).

• Avantages et Inconvénients :
• Avantage : Augmentation significative de la précision de la recherche (meilleure pertinence).
• Inconvénient : Augmentation de la latence du pipeline de recherche (temps d'attente de l'appel au LLM).

Takeaways

• Le re-ranking est une étape de post-traitement ajoutée après la recherche initiale pour améliorer la pertinence des résultats.
• Le principe repose sur l'utilisation d'un Grand Modèle de Langage (LLM) qui réordonne les documents trouvés en fonction de leur pertinence.
• Pour optimiser l'efficacité, le LLM est instruit de retourner uniquement les identifiants (IDs) des documents dans l'ordre de pertinence, et non le texte complet.
• L'utilisation de cette technique augmente significativement la précision de la recherche, mais entraîne une augmentation de la latence du pipeline.