Generating test datasets

📝 Notes d'étude : Workflow d'évaluation de prompt

Objectif du Workflow

• Construire un workflow d'évaluation personnalisé pour les prompts.
• Le prompt doit aider les utilisateurs à générer du code spécifique aux cas d'usage AWS.

Spécifications du Prompt

• Entrée (Input) : Une tâche fournie par l'utilisateur.
• Sortie (Output) : Le modèle doit produire l'une des trois formats suivants, sans aucune explication, en-tête ou pied de page :
• Python
• Configuration JSON
• Expression régulière (Regex) brute

Assemblage du Jeu de Données (Dataset)

• Définition : Un jeu de données est un ensemble d'entrées (inputs) fournies au prompt.
• Structure : Le jeu de données est un tableau (array) d'objets JSON.
• Contenu : Chaque objet doit contenir une propriété task décrivant la tâche à accomplir.
• Génération : Le jeu de données peut être assemblé manuellement ou généré automatiquement via Claude.
• Optimisation : Utiliser des modèles plus rapides (ex. Haiku) pour la génération de jeux de données.

Méthodologie de Génération (Code)

• Processus : Utiliser une fonction pour envoyer le prompt à Claude et récupérer les résultats.
• Technique de Prompting : Utilisation de la méthode de pré-remplissage (pre-filling) et des séquences d'arrêt (stop sequences).
• Exemple de séquence d'arrêt : json` (pour forcer le format JSON).
• Finalisation : Sauvegarder le jeu de données généré dans un fichier (ex. dataset. json) pour une utilisation ultérieure lors de l'évaluation.

Takeaways

• Le workflow vise à construire une évaluation personnalisée pour des prompts générant du code spécifique aux cas d'usage AWS.
• La sortie du prompt doit être strictement l'un des trois formats (Python, Configuration JSON, Regex brute) sans aucune explication.
• Le jeu de données est structuré comme un tableau (array) d'objets JSON, chaque objet contenant une propriété task.
• La génération du code utilise des techniques de prompting comme le pré-remplissage et les séquences d'arrêt (ex. json`) pour garantir le format.