Model based grading

📝 Notes de Cours : Systèmes de Notation (Grading Systems)

Objectif du Gradeur :

• Un gradeur prend la sortie d'un modèle et fournit un signal objectif (chiffre ou Vrai/Faux) sur la qualité de cette sortie.
• Le signal le plus courant est une note sur une échelle de 1 à 10 (10 = haute qualité, 1 = basse qualité).

Trois Types de Gradeurs :

• Gradeur Basé sur le Code (Code-based Grader) :
• Utilise un extrait de code personnalisé pour vérifier la sortie du modèle.
• Permet des vérifications programmatiques : longueur, présence de mots spécifiques, validation de la syntaxie (JSON, code), ou score de lisibilité.
• Nécessite de retourner un signal utilisable.
• Gradeur Basé sur un Modèle (Model-based Grader) :
• Utilise un modèle d'IA supplémentaire (une requête API additionnelle) pour évaluer la réponse originale.
• Offre une grande flexibilité : évaluation de la qualité générale, du respect des instructions, ou de l'exhaustivité.
• Nécessite que le modèle retourne un signal objectif (souvent 1 à 10).
• Gradeur Humain (Human-based Grading) :
• Une personne évalue manuellement les réponses du modèle.
• Avantage : Flexibilité maximale des critères.
• Inconvénient : Très chronophage et fastidieux.

Critères d'Évaluation :

• Il est essentiel de définir les critères d'évaluation avant de commencer la notation.
• Exemples de critères : format de sortie (Python, JSON, Regex), validité de la syntaxie, respect général de la tâche.

Application Pratique (Exemple) :

• Format et Syntaxe : Idéal pour un Gradeur Basé sur le Code.
• Suivi Général de la Tâche : Idéal pour un Gradeur Basé sur un Modèle (en raison de sa flexibilité).

Implémentation du Gradeur Basé sur un Modèle :

• Prompt Détaillé : Le prompt doit définir le rôle, la tâche, la solution générée, et les instructions de réponse.
• Conseil Clé : Demander au modèle de fournir un raisonnement, des forces et des faiblesses permet d'obtenir des scores plus concrets et moins arbitraires.
• Structure de Sortie : Les réponses sont souvent au format JSON et nécessitent un parsing.

Analyse Finale :

• Une fois les scores collectés pour tous les cas de test, on calcule la moyenne ($\text{moyenne}$) pour obtenir une métrique objective de la performance du prompt.

Takeaways

• Un gradeur fournit un signal objectif (chiffre ou Vrai/Faux) sur la qualité de la sortie d'un modèle, souvent sur une échelle de 1 à 10.
• Trois types de gradeurs existent : Basé sur le Code (vérifications programmatiques), Basé sur un Modèle (utilisation d'une IA supplémentaire), et Humain (évaluation manuelle).
• Il est essentiel de définir les critères d'évaluation (format, syntaxie, respect de la tâche) avant de commencer la notation.
• Pour le gradeur basé sur un modèle, un prompt détaillé est nécessaire et il est conseillé de demander au modèle de fournir un raisonnement structuré (souvent en format JSON).