Introducing Retrieval Augmented Generation

Notes d'étude : Retrieval Augmented Generation (RAG)

• Définition : RAG (Retrieval Augmented Generation) est une technique permettant d'améliorer les réponses d'un modèle de langage (LLM) en lui fournissant des informations spécifiques provenant de documents externes.
• Problématique : Comment permettre à un LLM d'accéder à des informations précises dans un document très volumineux (ex. : 100 à 1000 pages) ?

Méthode 1 : Ingestion Complète (Approche brute)

• Principe : Placer l'intégralité du texte du document dans le prompt.
• Inconvénients majeurs :
• Limite stricte de texte du LLM (risque d'erreur pour les longs documents).
• Baisse de l'efficacité du LLM avec un prompt trop long.
• Temps de traitement long → Coût élevé.

Méthode 2 : RAG (Processus en deux étapes)

• Étape 1 : Découpage (Chunking)
• Le document est divisé en petits morceaux (chunks).
• Variantes : Découpage par taille égale ou par en-têtes (headers).
• Étape 2 : Récupération et Génération
• Lors d'une question, le système recherche le ou les chunks les plus pertinents par rapport à la question.
• Seul le chunk pertinent est inclus dans le prompt du LLM.

Avantages de RAG

• Focalisation : Le LLM se concentre uniquement sur le contenu pertinent.
• Évolutivité : Fonctionne avec des documents très grands ou multiples.
• Efficacité : Prompts plus petits → temps de traitement réduit et coût plus faible.

Défis et Complexités de RAG

• Complexité accrue : Nécessite un processus de pré-traitement (chunking) et un mécanisme de recherche.
• Définition de la pertinence : Il faut définir ce qui constitue un chunk "pertinent".
• Risque de perte de contexte : Il n'y a aucune garantie que les chunks récupérés contiennent tout le contexte nécessaire à une réponse complète.
• Évaluation : Le choix de la méthode de découpage doit être évalué pour l'application spécifique.

Takeaways

• RAG (Retrieval Augmented Generation) est une technique visant à améliorer les réponses des LLM en leur fournissant des informations spécifiques issues de documents externes.
• Le processus RAG repose sur deux étapes clés : le découpage (chunking) du document en petits morceaux, suivi de la récupération des chunks les plus pertinents pour le LLM.
• L'approche RAG offre des avantages majeurs en termes d'évolutivité et d'efficacité, car elle permet au LLM de se concentrer uniquement sur le contenu pertinent, réduisant ainsi les coûts.
• Les défis principaux incluent la complexité du pré-traitement et le risque de perte de contexte, car il n'y a aucune garantie que les chunks récupérés contiennent toutes les informations nécessaires.