Generating test datasets

Notes d'étude : Flux de travail d'évaluation de prompt

Objectif du Prompt

• Créer un prompt capable d'aider les utilisateurs à générer du code spécifique pour les cas d'usage AWS.
• Entrée (Input) : Une tâche fournie par l'utilisateur.
• Sortie (Output) : Le modèle doit produire l'une des trois formats suivants, sans aucune explication, en-tête ou pied de page :
• Python
• Configuration JSON
• Expression régulière (Regex) brute

Assemblage de l'Ensemble de Données (Dataset)

• Un ensemble de données est une liste (array) d'objets JSON.
• Chaque objet doit contenir une propriété task décrivant une tâche spécifique.
• Processus : Le prompt est alimenté avec chaque tâche de l'ensemble de données pour obtenir une réponse de l'IA (Claude).
• Génération : L'ensemble de données peut être assemblé manuellement ou généré automatiquement par l'IA.
• Optimisation : Utiliser des modèles plus rapides (ex: Haiku) pour la génération de l'ensemble de données.

Implémentation Technique

• Fonction de Génération : Créer une fonction (ex: GenerateDataSet) qui utilise un prompt détaillé pour demander à l'IA de créer les tâches.
• Extraction du JSON : Pour garantir que l'IA renvoie du JSON, on utilise une combinaison de :
• Un message assistant pré-rempli (ex: json `).
• Une séquence d'arrêt (stop sequence) (ex: trois backticks `).
• Post-traitement : Le texte de la réponse de l'IA est immédiatement analysé (parsed) en utilisant la fonction json. loads().
• Finalisation : Sauvegarder l'ensemble de données généré dans un fichier JSON pour réutilisation.

Takeaways

• L'objectif du prompt est de générer du code (Python, JSON ou Regex) en sortie, sans aucune explication ou en-tête supplémentaire.
• L'ensemble de données est structuré comme un tableau (array) d'objets JSON, où chaque objet contient une propriété task décrivant une tâche spécifique.
• Pour forcer l'IA à renvoyer du JSON, il est essentiel d'utiliser un message assistant pré-rempli ( json ) et une séquence d'arrêt ( ).
• Le flux de travail technique comprend la génération des tâches, l'extraction du JSON via json. loads(), et la sauvegarde du résultat dans un fichier JSON.