Implementing the RAG flow

Notes d'étude : Flux de travail RAG (Retrieval-Augmented Generation)

Le flux RAG est un processus en cinq étapes pour permettre à un modèle d'accéder à des informations spécifiques dans un ensemble de données externe (base de données vectorielle).

**1. Découpage du texte (Chunking)**

• Objectif : Diviser un document source (ex: report. md) en morceaux de texte gérables (chunks).
• Méthode : Utilisation d'une fonction de découpage (ex: chunk_by_section).

**2. Génération des Embeddings**

• Objectif : Transformer chaque chunk de texte en une représentation numérique (embedding).
• Processus : Boucler sur tous les chunks et passer chacun à une fonction de génération d'embedding (qui effectue une requête API).

**3. Création du Magasin Vectoriel (Vector Store)**

• Objectif : Stocker les embeddings générés.
• Méthode : Créer une instance de l'index vectoriel.
• Stockage crucial : Chaque embedding doit être stocké avec le contenu textuel original du chunk (ou son ID) pour permettre la récupération ultérieure.

**4. Embedding de la Requête Utilisateur**

• Objectif : Transformer la question de l'utilisateur en un vecteur.
• Processus : Utiliser la même fonction de génération d'embedding sur la requête (ex: "What did the software engineering depth do last year? ").

**5. Recherche de Documents Pertinents (Retrieval)**

• Objectif : Trouver les chunks les plus similaires à la requête.
• Processus : Interroger le magasin vectoriel avec l'embedding de la requête.
• Résultat : Le système retourne les N chunks les plus pertinents (ex: top 2).
• Mesure de similarité : La pertinence est déterminée par des métriques comme la distance cosinus.

Takeaways

• Le RAG est un flux de travail en cinq étapes permettant à un modèle d'accéder à des informations spécifiques d'une base de données externe.
• Le processus commence par le découpage du texte (chunking) et la génération d'embeddings pour transformer chaque morceau en une représentation numérique.
• Ces embeddings sont stockés dans un Magasin Vectoriel (Vector Store) en conservant le lien avec le contenu textuel original.
• La requête utilisateur est également transformée en un embedding pour permettre sa comparaison avec les données stockées.
• La recherche (Retrieval) identifie les chunks les plus pertinents en mesurant la similarité entre l'embedding de la requête et les embeddings du magasin vectoriel (ex: distance cosinus).