The full RAG flow

Notes de Révision : Le Pipeline RAG Complet

**I. Phase de Préparation (Indexing)**

• Chunking (Découpage) : Le document source est divisé en morceaux de texte distincts (chunks).
• Génération d'Embeddings : Chaque chunk est transformé en un vecteur numérique (embedding) par un modèle d'embedding.
• Normalisation : Les vecteurs sont ajustés pour que leur magnitude soit égale à 1. 0.
• Stockage : Les embeddings normalisés sont stockés dans une Base de Données Vectorielle (Vector Database), optimisée pour la recherche et la comparaison de listes de nombres.

**II. Phase de Requête (Query)**

• Traitement de la Requête : La question de l'utilisateur est passée par le même modèle d'embedding que les chunks.
• Recherche de Similarité : L'embedding de la requête est soumis à la base de données vectorielle pour trouver les vecteurs les plus proches.
• Calcul de Similarité :
• Similarité Cosinus (Cosine Similarity) : Mesure le cosinus de l'angle entre l'embedding de la requête et les embeddings stockés.
• Résultat : La valeur est comprise entre moins un (-1) et un (1).
• Interprétation : Une valeur proche de 1 indique une forte similarité.
• Distance Cosinus (Cosine Distance) : Calculée comme 1 moins la similarité cosinus.
• Interprétation : Une valeur proche de zéro indique une forte similarité.

**III. Phase de Génération**

• Construction du Prompt : Le chunk de texte le plus pertinent (celui avec la plus haute similarité) est récupéré.
• Exécution : La requête de l'utilisateur est combinée avec le chunk pertinent pour former un prompt, qui est ensuite envoyé au modèle de langage (LLM).

Takeaways

• Le processus RAG commence par le découpage (chunking) des documents et la transformation de chaque morceau en un vecteur numérique (embedding).
• Ces embeddings sont stockés dans une Base de Données Vectorielle, optimisée pour la recherche de similarité.
• La requête de l'utilisateur est également transformée en embedding pour permettre une recherche de proximité.
• La similarité est mesurée par la Similarité Cosinus, où une valeur proche de 1 indique une forte pertinence.
• Le chunk de texte le plus pertinent est récupéré et combiné avec la requête pour former le prompt envoyé au LLM.