Structured data

**Notes de Cours : Génération de Données Structurées (JSON, etc. )**

• Problème Courant : Les grands modèles de langage (LLM) ont tendance à ajouter des commentaires, des en-têtes ou des pieds de page lors de la génération de données structurées (JSON, listes, etc. ), ce qui est indésirable pour les applications automatisées.
• Solution Clé : Utiliser une combinaison de Séquences d'Arrêt (Stop Sequences) et de Pré-remplissage du Message Assistant (Assistant Message Pre-filling).
• Objectif : Obtenir uniquement le contenu brut et structuré demandé, sans aucun texte additionnel.
• Mécanisme de Fonctionnement :
• Message Utilisateur : Demande le contenu structuré (ex: "Génère une règle EventBridge en JSON").
• Pré-remplissage Assistant : Fournit le début du format souhaité (ex: json `). Cela induit le modèle dans l'idée qu'il a déjà commencé la structure.
• Séquence d'Arrêt : Définit un marqueur (ex: `) qui force l'arrêt immédiat de la génération dès qu'il est rencontré.
• Résultat : Le modèle génère uniquement le contenu situé entre le pré-remplissage et la séquence d'arrêt, produisant ainsi le JSON brut.
• Portée : Cette technique n'est pas limitée au JSON ; elle fonctionne pour tout type de données structurées (Python, listes, etc. ).
• Post-traitement : Il est souvent nécessaire d'utiliser des fonctions de nettoyage (comme strip() ou json. loads()) pour supprimer les caractères de nouvelle ligne résiduels.

Takeaways

• Problème : Les LLM génèrent souvent des commentaires ou des en-têtes indésirables lors de la production de données structurées (JSON, listes).
• Solution Clé : Utiliser une combinaison de Séquences d'Arrêt et de Pré-remplissage du Message Assistant pour obtenir uniquement le contenu brut.
• Mécanisme : Le pré-remplissage initialise le format souhaité (ex: json ), tandis que la séquence d'arrêt force l'arrêt immédiat de la génération.
• Portée : Cette technique est applicable à tous les types de données structurées (JSON, Python, etc. ).
• Post-traitement : Un nettoyage ou un parsing (ex: json. loads()) est souvent requis pour supprimer les caractères résiduels.