Exercise on prompt evals

Notes d'étude : Amélioration du Modèle de Notation (Model Grader)

• Objectif principal : Améliorer la performance du modèle de notation en lui fournissant un contexte plus précis sur ce qui constitue une "bonne solution".
• Méthode : Le processus se décompose en deux étapes clés.

Étape 1 : Enrichissement du Jeu de Données (Data Generation)

• Action : Modifier le prompt utilisé pour générer le jeu de données.
• Instruction : Demander explicitement des "critères de solution" (solution criteria) pour chaque cas de test.
• Résultat : Chaque cas de test dans le jeu de données reçoit désormais une clé supplémentaire décrivant les caractéristiques d'une solution idéale.

Étape 2 : Intégration dans le Modèle de Notation (Model Grader)

• Action : Modifier le prompt du modèle de notation.
• Procédure : Insérer les "critères de solution" générés à l'Étape 1 dans le prompt de notation.
• Placement : Ces critères sont ajoutés juste après la solution que le modèle doit évaluer.
• Impact : Fournir ces critères permet au modèle de notation de mieux comprendre les attentes et de produire un raisonnement (reasoning) plus détaillé et pertinent.

Takeaways

• L'objectif est d'améliorer le modèle de notation en fournissant un contexte précis sur les "critères de solution".
• L'Étape 1 consiste à enrichir le jeu de données en demandant explicitement des critères de solution pour chaque cas de test.
• L'Étape 2 consiste à intégrer ces critères de solution dans le prompt du modèle de notation.
• Ces critères sont insérés juste après la solution que le modèle doit évaluer.
• Cette méthode permet au modèle de notation de produire un raisonnement plus détaillé et pertinent.