Text chunking strategies

Notes de Cours : Workflow RAG et Stratégies de Découpage (Chunking)

I. Le Workflow RAG (Retrieval-Augmented Generation)

• Définition : Le RAG est un pipeline permettant de générer des réponses basées sur des documents externes (sources de vérité).
• Processus typique :
• Document source → Découpage (Chunking)
• Question de l'utilisateur → Recherche du chunk pertinent
• Insertion du chunk dans le prompt
• Génération de la réponse

II. Le Découpage (Chunking) : Importance et Défis

• Rôle critique : Le découpage est l'étape la plus complexe du pipeline RAG.
• Risque majeur : Un découpage inadéquat peut entraîner des erreurs de contexte (mélange de sujets non pertinents).
• Paramètres clés :
• Longueur du chunk : Taille de la séquence de texte.
• Chevauchement (Overlap) : Zone de texte répétée entre deux chunks successifs pour maintenir le contexte.
• Note : Les réglages par défaut sont souvent insuffisants et nécessitent un ajustement manuel.

III. Stratégies de Découpage

Le choix de la stratégie dépend entièrement de la structure du document.

**1. Découpage basé sur la taille (Size-based Chunking)**

• Méthode : Division du document en chaînes de caractères de longueur fixe.
• Avantages : Simplicité d'implémentation.
• Inconvénients : Risque de couper des mots ou de perdre des informations contextuelles (ex: en-têtes de section).

**2. Découpage par phrase (Chunk by sentence)**

• Méthode : Utilisation d'expressions régulières (regex) pour séparer le texte.
• Résultat : Chaque chunk fournit une unité d'information solide.
• Configuration typique : 5 phrases par chunk avec 1 phrase de chevauchement.

**3. Découpage par section (Chunk by section)**

• Idéal pour : Documents hautement structurés (chapitres, table des matières, résumés).
• Avantage : Garantit une cohérence thématique au sein de chaque chunk.

**4. Découpage par caractère (Chunk by character)**

• Statut : Solution de repli (dernier recours).
• Utilisation : Lorsque les stratégies basées sur la structure échouent.

Critères de sélection :

• Si le document est bien formaté (ex: chapitres), privilégier le découpage par section.
• Si le document manque de formatage (ex: code informatique), revenir au découpage par phrase, puis par caractère.

Takeaways

• Le RAG (Retrieval-Augmented Generation) est un pipeline qui génère des réponses basées sur des documents externes (sources de vérité).
• Le découpage (Chunking) est l'étape la plus complexe du RAG ; un découpage inadéquat entraîne des erreurs de contexte.
• Les paramètres essentiels du découpage sont la longueur du chunk et le chevauchement (Overlap) pour maintenir le contexte.
• Le choix de la stratégie de découpage doit être dicté par la structure du document.
• La hiérarchie des stratégies est : privilégier le découpage par section, puis par phrase, et enfin par caractère (dernier recours).