Implementing the RAG flow

Notes de Cours : Flux RAG et Base de Données Vectorielle

• Objectif : Implémentation du flux complet RAG (Retrieval-Augmented Generation) en utilisant une base de données vectorielle (VectorDB).

• Les 5 Étapes du Flux RAG :

• Découpage du Texte (Chunking) :
• Le texte source (ex: report. md) est divisé en morceaux (chunks) en fonction des sections.
• Fonction utilisée : chunk_by_section.

• Génération des Embeddings :
• Un vecteur numérique (embedding) est créé pour chaque morceau de texte (chunk).
• Fonction utilisée : generate_embedding (peut prendre une chaîne unique ou une liste de chaînes).

• Création et Indexation du Vector Store :
• On crée une instance de la base de données vectorielle.
• On itère sur les paires (embedding ↔ chunk) et on les insère dans le store.
• Concept clé : Il est crucial de stocker le contenu original du chunk (ou son ID) avec son embedding. Cela permet de récupérer le texte lisible lors de la recherche, et non seulement le vecteur.

• Embedding de la Requête Utilisateur :
• Lorsqu'un utilisateur pose une question, celle-ci est transformée en un embedding (vecteur de question).
• Fonction utilisée : generate_embedding (appliquée à la question).

• Recherche de Documents Pertinents (Retrieval) :
• On interroge le Vector Store en utilisant l'embedding de la question.
• On spécifie le nombre de résultats souhaités (ex: les deux morceaux les plus pertinents).
• Fonction utilisée : store. search.
• Résultat : Le système retourne les documents les plus similaires, accompagnés de leur distance (ex: distance cosinus).

Takeaways

• Le flux RAG (Retrieval-Augmented Generation) utilise une base de données vectorielle pour améliorer la pertinence des réponses.
• Le texte source est d'abord découpé (chunking) puis transformé en vecteurs numériques (embeddings).
• La VectorDB stocke les paires (embedding ↔ contenu original) pour garantir que le texte lisible puisse être récupéré lors de la recherche.
• La requête utilisateur est également convertie en embedding pour permettre la recherche de similarité (distance) avec les chunks stockés.