Introducing Retrieval Augmented Generation

Notes de Cours : Retrieval Augmented Generation (RAG)

Définition de RAG

• RAG (Retrieval Augmented Generation) est une technique permettant aux modèles de langage (LLM) de répondre à des questions spécifiques en se basant sur des documents externes et volumineux.
• Objectif : Permettre à un LLM d'accéder à des informations précises contenues dans des documents très longs (ex. : rapports financiers de 100 à 1000 pages).

Problème fondamental

• Les LLM ont une limite de texte (fenêtre de contexte) qu'ils peuvent traiter en une seule fois.
• Il est impossible de placer un document très long directement dans un prompt.

Méthode 1 : Injection directe (Approche naïve)

• Principe : Placer l'intégralité du texte du document dans le prompt.
• Inconvénients majeurs :
• Limite de texte : Échec si le document est trop long.
• Efficacité : La performance du LLM diminue avec l'augmentation de la longueur du prompt.
• Coût et Temps : Les prompts plus longs coûtent plus cher et prennent plus de temps à traiter.

Méthode 2 : Retrieval Augmented Generation (RAG)

• Principe : Un processus en plusieurs étapes pour cibler uniquement les informations pertinentes.
• Étapes du processus :
• Découpage (Chunking) : Le document est divisé en petits morceaux (chunks) gérables.
• Récupération (Retrieval) : Lorsqu'une question est posée, le système recherche le ou les chunks les plus pertinents par rapport à la question.
• Génération : Seul le chunk pertinent est inclus dans le prompt du LLM pour générer la réponse.

Avantages du RAG

• Évolutivité : Peut gérer des documents très volumineux ou multiples.
• Précision : Le LLM se concentre sur un contenu ciblé, améliorant la qualité de la réponse.
• Efficacité : Les prompts sont plus petits → temps de traitement réduit et coût diminué.

Désavantages et Défis du RAG

• Complexité : Nécessite une étape de prétraitement (découpage) et un mécanisme de recherche sophistiqué.
• Contexte manquant : Il n'y a aucune garantie que le chunk sélectionné contienne tout le contexte nécessaire pour une réponse complète.
• Stratégie de découpage : Il faut choisir une méthode de découpage (par taille fixe ou par en-têtes) et évaluer son impact sur l'application.

Takeaways

• RAG (Retrieval Augmented Generation) permet aux LLM de répondre à des questions en se basant sur des documents externes, contournant la limite de la fenêtre de contexte du modèle.
• Le processus RAG est un cycle en trois étapes : Découpage (Chunking) du document, Récupération des morceaux pertinents (Retrieval), puis Génération de la réponse par le LLM.
• L'utilisation de RAG améliore la précision et l'évolutivité en ciblant uniquement les informations pertinentes, ce qui réduit le coût et le temps de traitement.
• Un défi majeur de RAG est de garantir que le chunk sélectionné contient tout le contexte nécessaire, ce qui exige une stratégie de découpage (chunking) réfléchie.