The full RAG flow

Notes de Cours : Le Pipeline RAG Complet

**I. Phase de Préparation (Indexing)**

• Découpage (Chunking) : Le document source est divisé en morceaux de texte distincts (chunks).
• Génération d'Embeddings : Chaque chunk est convertit en un vecteur numérique (embedding) qui représente son sens sémantique.
• Normalisation : Les vecteurs sont ajustés pour que la magnitude de chaque vecteur soit égale à 1. 0.
• Stockage : Les embeddings normalisés sont stockés dans une Base de Données Vectorielle (Vector Database), optimisée pour la recherche et la comparaison de longues listes de nombres.

**II. Phase de Requête (Query)**

• Traitement de la Requête : La question de l'utilisateur est passée par le même modèle d'embedding que les chunks.
• Recherche de Similarité : La base de données vectorielle compare le vecteur de la requête avec tous les vecteurs stockés pour trouver le plus proche.
• Calcul de Similarité Cosinus :
• C'est la méthode mathématique utilisée pour mesurer la similarité entre deux vecteurs.
• Elle calcule le cosinus de l'angle entre le vecteur de la requête et les vecteurs stockés.
• Résultat : Une valeur comprise entre -1 et 1.
• Interprétation :
• Proche de 1 → Très forte similarité.
• Proche de -1 → Aucune similarité.
• Distance Cosinus (Alternative) :
• Calculée comme : 1 moins la similarité cosinus.
• Interprétation : Proche de 0 → Grande similarité.

**III. Phase de Génération de Réponse**

• Sélection : Le chunk de texte le plus pertinent (celui avec la plus haute similarité cosinus) est sélectionné.
• Prompt Final : La question de l'utilisateur est combinée avec le chunk de texte pertinent pour former un prompt.
• Réponse : Ce prompt est envoyé au modèle de langage (LLM) pour générer la réponse finale.

Takeaways

• Le processus RAG commence par le découpage des documents et la conversion de chaque morceau en un vecteur numérique (embedding) pour le stockage.
• Les embeddings sont stockés dans une Base de Données Vectorielle, optimisée pour la recherche de similarité entre vecteurs.
• La requête de l'utilisateur est également transformée en vecteur pour comparer sa proximité avec les données stockées.
• La similarité cosinus est la méthode utilisée pour mesurer la relation entre deux vecteurs (une valeur proche de 1 indique une forte similarité).
• Le chunk de texte le plus pertinent est sélectionné et combiné avec la requête pour être envoyé au modèle de langage (LLM) afin de générer la réponse.