The full RAG flow

Notes d'étude : Le Pipeline RAG (Retrieval-Augmented Generation)

**I. Phase de Préparation (Indexing)**

• Chunking (Segmentation) : Le document source est divisé en petits morceaux de texte (chunks).
• Génération d'Embeddings : Chaque chunk est transformé en un vecteur numérique (embedding) qui représente son sens sémantique.
• Exemple : Un embedding peut avoir des dimensions spécifiques (ex. : score de 0,97 pour le domaine médical).
• Normalisation : Les vecteurs sont ajustés pour que leur magnitude (longueur) soit égale à 1,0.
• Stockage : Les embeddings générés sont stockés dans une Base de Données Vectorielle (Vector Database), optimisée pour la comparaison et la recherche de similarité entre longs listes de nombres.

**II. Phase de Requête (Query)**

• Traitement de la Requête Utilisateur : La question de l'utilisateur est passée par le même modèle d'embedding que les chunks du document.
• Recherche de Similarité : L'embedding de la requête est soumis à la base de données vectorielle.
• Calcul de Similarité : Le système recherche le vecteur stocké le plus proche de l'embedding de la requête.
• Similarité Cosinus (Cosine Similarity) : Mesure l'angle entre deux vecteurs.
• Résultat : Entre moins un et un.
• Proche de 1 → Haute similarité.
• Proche de moins un → Faible similarité.
• Distance Cosinus (Cosine Distance) : Calculée comme (1 moins la Similarité Cosinus).
• Proche de 0 → Haute similarité.

**III. Phase de Génération (Generation)**

• Sélection du Chunk Pertinent : Le chunk de texte ayant la plus haute similarité est récupéré.
• Construction du Prompt : Le prompt final est créé en combinant :
• La question originale de l'utilisateur.
• Le chunk de texte le plus pertinent trouvé.
• Génération de la Réponse : Ce prompt est envoyé à un Grand Modèle de Langage (LLM) pour générer la réponse finale.

Takeaways

• Le pipeline RAG commence par la segmentation (chunking) des documents et la transformation de chaque morceau en un vecteur numérique (embedding).
• Ces embeddings sont stockés dans une Base de Données Vectorielle, optimisée pour la recherche de similarité entre les vecteurs.
• La requête utilisateur est également transformée en embedding pour permettre la recherche de similarité avec les données stockées.
• La Similarité Cosinus est utilisée pour mesurer la proximité entre l'embedding de la requête et les vecteurs du document.
• Le Grand Modèle de Langage (LLM) génère la réponse finale en combinant la question originale de l'utilisateur et le chunk de texte le plus pertinent récupéré.