Model based grading

📝 Notes de Révision : Systèmes de Notation (Grading Systems)

🎯 Objectif d'un Grader

• Définition : Un grader prend la sortie d'un modèle (output) et fournit un signal objectif.
• Signal typique : Un score numérique (souvent entre 1 et 10), où 10 indique une haute qualité et 1 indique une faible qualité.

⚙️ Les Trois Types de Graders

1. Grader Basé sur le Code (Code-based Grader)

• Mécanisme : Le code de l'utilisateur vérifie la sortie du modèle.
• Vérifications possibles :
• Longueur (trop court ou trop long).
• Présence ou absence de mots spécifiques.
• Validation de la syntaxe (JSON, code).
• Calcul de scores de lisibilité.
• Exigence : Le code doit retourner un signal utilisable (souvent un score 1-10).

2. Grader Basé sur un Modèle (Model-based Grader)

• Mécanisme : La sortie du modèle est passée à un modèle supplémentaire (une requête API additionnelle).
• Avantages : Grande flexibilité pour évaluer la qualité générale, le respect des instructions ou l'exhaustivité.
• Exigence : Le modèle doit fournir un signal objectif (généralement un score 1-10).

3. Notation Humaine (Human-based Grading)

• Mécanisme : Une personne évalue la réponse du modèle.
• Avantages : Flexibilité maximale pour n'importe quelle métrique.
• Inconvénients : Très chronophage et fastidieux.

💡 Stratégie d'Évaluation

• Critères : Il est crucial de définir les critères d'évaluation avant de commencer.
• Exemple d'application :
• Format et Syntaxe (ex: Python, JSON, Regex) → Idéal pour un Code Grader.
• Suivi Général de la Tâche (ex: exactitude, logique) → Idéal pour un Model Grader (en raison de sa flexibilité).

🛠️ Mise en Œuvre du Model Grader

• Prompt détaillé : Le prompt du grader doit définir clairement le rôle, la tâche, la solution générée, et les directions de réponse.
• Conseil clé : Demander au modèle de fournir des forces, des faiblesses et un raisonnement conduit à des scores plus con

Takeaways

• Un grader fournit un signal objectif (souvent un score 1-10) à partir de la sortie d'un modèle.
• Les trois types de graders sont : Code-based (vérifie la syntax/longueur), Model-based (utilise un modèle secondaire pour la flexibilité), et Humain (évaluation manuelle).
• Il est crucial de définir les critères d'évaluation avant de commencer le processus de notation.
• Stratégie d'application : Utiliser un Code Grader pour le format et la syntaxe, et un Model Grader pour le suivi général de la tâche et la logique.