Exercise on prompt evals

Notes de Cours : Amélioration du Gradeur de Modèle

• Objectif Principal : Améliorer la performance d'un gradeur de modèle (model grader) en lui fournissant un contexte plus précis sur ce qu'est une solution de qualité.
• Méthode : Le processus se décompose en deux étapes clés.

Étape 1 : Enrichissement des Données (Génération du Dataset)

• Action : Modifier le prompt utilisé pour générer le jeu de données (dataset).
• Objectif : Demander explicitement des "critères de solution" (solution criteria) pour chaque cas de test.
• Résultat : Chaque cas de test dans le jeu de données inclut désormais une clé de critères décrivant les caractéristiques d'une bonne réponse.

Étape 2 : Intégration des Critères (Évaluation par le Modèle)

• Action : Modifier le prompt du gradeur de modèle ("grade by model prompt").
• Objectif : Insérer les "critères de solution" générés à l'Étape 1 dans le prompt donné au gradeur.
• Mécanisme : Le gradeur utilise ces critères comme guide pour évaluer la solution fournie.
• Avantage : Cela permet au gradeur de produire un raisonnement plus structuré et détaillé.

Takeaways

• L'objectif est d'améliorer la performance du gradeur de modèle en lui fournissant un contexte précis sur la qualité des solutions.
• Le processus se divise en deux étapes : l'enrichissement des données et l'intégration des critères.
• L'Étape 1 consiste à modifier le prompt de génération pour inclure explicitement des "critères de solution" dans chaque cas de test.
• L'Étape 2 consiste à insérer ces critères de solution dans le prompt du gradeur de modèle.
• L'utilisation de ces critères permet au gradeur de produire un raisonnement plus structuré et détaillé lors de l'évaluation.