Introducing Retrieval Augmented Generation

Notes de Cours : Retrieval Augmented Generation (RAG)

**I. Définition et Problématique**

• RAG (Retrieval Augmented Generation) : Technique permettant d'améliorer les réponses d'un modèle de langage (LLM) en lui fournissant des informations externes et spécifiques.
• Problème fondamental : Comment extraire des informations pertinentes d'un document très volumineux (ex. : 100 à 1 000 pages) et les injectées dans le LLM pour répondre à une question précise.

**II. Méthode 1 : Prompt Complet (Approche Naïve)**

• Principe : Placer l'intégralité du document dans le prompt du LLM.
• Inconvénients majeurs :
• Limite de texte : Les LLM ont une limite stricte de jetons (tokens) ; les documents trop longs provoquent une erreur.
• Dégradation de la performance : La qualité de la réponse diminue à mesure que la longueur du prompt augmente.
• Difficulté de concentration : Le LLM peine à identifier les informations spécifiques au milieu d'un grand volume de texte.

**III. Méthode 2 : RAG (Retrieval Augmented Generation)**

• Principe : Ne fournir au LLM que les fragments de texte les plus pertinents pour la question posée.
• Processus en étapes :
• Pré-traitement : Le document est découpé en petits fragments (chunks).
• Requête utilisateur : L'utilisateur pose une question.
• Récupération (Retrieval) : Un mécanisme de recherche identifie les fragments les plus pertinents par rapport à la question.
• Génération : Seuls ces fragments pertinents sont inclus dans le prompt du LLM pour générer la réponse.

**IV. Avantages et Défis de RAG**

• Avantages (Upsides) :
• Focalisation : Le LLM se concentre uniquement sur le contenu pertinent.
• Évolutivité : Permet de traiter des documents très volumineux ou de multiples documents.
• Efficacité : Prompts plus courts → temps de traitement réduit et coûts moindres.
• Défis (Downsides) :
• Complexité accrue : Nécessite une étape de pré-traitement et un mécanisme de recherche sophistiqué.
• Garantie de contexte : Il n'y a aucune garantie que les fragments récupérés contiennent tout le contexte nécessaire à une réponse complète.
• Définition des fragments (Chunking) : Il existe de nombreuses méthodes pour découper le texte (ex. : par portions égales, par en-têtes), nécessitant une évaluation spécifique à l'application.

Conclusion : RAG est une solution puissante mais exige une analyse approfondie de chaque étape technique avant son implémentation.

Takeaways

• RAG (Retrieval Augmented Generation) est une technique visant à améliorer les réponses des LLM en leur fournissant des informations externes et spécifiques.
• Contrairement à l'approche naïve, RAG ne fournit au LLM que les fragments de texte les plus pertinents, après avoir découpé le document (chunking).
• L'utilisation de RAG permet de traiter des documents très volumineux et d'améliorer l'efficacité en réduisant la taille des prompts.
• Bien que puissant, RAG est complexe et il n'y a aucune garantie que les fragments récupérés contiennent l'intégralité du contexte nécessaire à une réponse complète.