Generating test datasets

📝 Notes de Cours : Workflow d'Évaluation de Prompt

Objectif du Workflow

• Construire un flux de travail (workflow) pour évaluer la performance d'un prompt.
• Le but du prompt est d'aider les utilisateurs à générer du code spécifique aux cas d'usage AWS.

Contraintes du Prompt (Sortie)

• Le prompt doit forcer le modèle à produire l'une des trois sorties suivantes :
• Python
• Configuration JSON
• Expression régulière brute
• Règle stricte : La réponse doit contenir uniquement la sortie demandée, sans aucune explication, en-tête ou pied de page.

Assemblage du Jeu de Données (Dataset)

• Un jeu de données est un ensemble d'entrées (inputs) fournies au prompt.
• Structure : Un tableau (array) d'objets JSON.
• Contenu : Chaque objet doit contenir une propriété task décrivant la tâche à accomplir.
• Génération : Le jeu de données peut être assemblé manuellement ou généré automatiquement par le modèle (ex: Claude).

Implémentation Technique (Code)

• Modèle : Utiliser un modèle rapide (ex: Haiku) pour la génération du jeu de données.
• Fonction generate_data_set :
• Le prompt est envoyé à Claude.
• Méthode API : Utilisation d'une liste de messages (User → Assistant).
• Séquence d'arrêt (Stop Sequence) : Définir ` pour contrôler la fin de la réponse du modèle.
• Traitement : Le texte reçu est parsé en JSON (json. loads).
• Finalisation : Sauvegarder le jeu de données dans un fichier (ex: dataset. json) pour l'étape d'évaluation.

Takeaways

• Le prompt doit forcer le modèle à produire une sortie unique (Python, JSON, ou Expression régulière) sans aucune explication.
• Le jeu de données est structuré comme un tableau (array) d'objets JSON, où chaque objet contient une propriété task.
• La génération des données utilise un modèle rapide (ex: Haiku) via l'API en suivant la séquence User → Assistant.
• Le contrôle de la réponse est assuré par une Séquence d'arrêt ( ) et le traitement du texte reçu via json. loads`.