Exercise on prompt evals

Notes de Cours : Amélioration du Modèle d'Évaluation (Model Grader)

• Objectif Principal : Améliorer la qualité du modèle d'évaluation (model grader) en lui fournissant un contexte plus précis sur ce qui constitue une "bonne solution".
• Méthode : Le processus nécessite deux étapes distinctes.

Étape 1 : Enrichissement des Données (Génération)

• Action : Modifier le prompt utilisé pour générer le jeu de données (dataset).
• Demande : Demander au générateur d'inclure des "critères de solution" (solution criteria) pour chaque cas de test.
• Résultat : Chaque cas de test dans le jeu de données contient désormais une clé supplémentaire décrivant les caractéristiques d'une solution idéale.

Étape 2 : Injection du Contexte (Évaluation)

• Action : Modifier le prompt du modèle d'évaluation (grade by model).
• Méthode : Insérer les "critères de solution" générés à l'Étape 1 dans le prompt donné au modèle d'évaluation.
• Flux : [Tâche Originale] → [Solution à Évaluer] → [Critères de Solution (Nouveauté)] → [Modèle d'Évaluation].
• Résultat Attendu : Le modèle d'évaluation produit un raisonnement (reasoning) plus approfondi et plus précis.

Takeaways

• L'objectif est d'améliorer la qualité du modèle d'évaluation (model grader) en lui fournissant un contexte précis sur la "bonne solution".
• L'enrichissement des données (Étape 1) consiste à modifier le prompt de génération pour inclure des "critères de solution" pour chaque cas de test.
• L'injection du contexte (Étape 2) consiste à insérer ces "critères de solution" dans le prompt du modèle d'évaluation.
• Le flux de travail est : Tâche → Solution → Critères de Solution → Modèle d'Évaluation.
• Le résultat attendu est un raisonnement plus approfondi et plus précis du modèle d'évaluation.