Code based grading

📝 Notes de Révision : Mise en Œuvre du Code Grader

Objectif du Code Grader

• Vérifier que la sortie du modèle est strictement du Python, du JSON ou une expression régulière (RegEx).
• Assurer l'absence de commentaires ou d'explications dans la réponse.

Mécanisme de Validation (Syntax Check)

• Définir trois fonctions utilitaires : validateJSON, validatePython, et validateRegEx.
• Chaque fonction tente de parser ou de compiler la sortie du modèle.
• Succès : Si le parsing/chargement est réussi, le score est de 10.
• Échec : Si une erreur survient, le score est de 0.
• Une fonction générale (grade_syntax) utilise une clé de format dans le jeu de données pour déterminer quel validateur exécuter.

Mise à Jour des Données et du Prompt

• Jeu de Données (Dataset) : Il est impératif d'ajouter une clé format (ex: "JSON", "Python", "regex") pour spécifier le type de sortie attendu pour chaque tâche.
• Prompt Template : Le prompt doit être mis à jour pour forcer le modèle à répondre uniquement avec le code brut (Python, JSON ou RegEx) et interdire tout commentaire ou explication.
• Technique de Prompt : Utiliser un message assistant pré-rempli (ex: trois backticks) et une séquence d'arrêt (stop sequence) pour garantir le format de sortie.

Calcul du Score Final

• Le score final est une moyenne pondérée des deux évaluations :
• Score Modèle (Model Score)
• Score Syntaxe (Syntax Score)
• Formule : Score = (Score Modèle + Score Syntaxe) / 2.

Takeaways

• Le Code Grader vérifie que la sortie du modèle est strictement du Python, du JSON ou une expression régulière (RegEx) et qu'elle ne contient aucun commentaire.
• La validation de la syntaxe repose sur trois fonctions (validateJSON, validatePython, validateRegEx) : un succès donne 10 points, un échec donne 0.
• Il est obligatoire d'ajouter une clé format (ex: "JSON", "Python") au jeu de données pour spécifier le type de sortie attendu.
• Le prompt doit être mis à jour pour forcer le modèle à fournir uniquement le code brut, en utilisant des techniques comme les séquences d'arrêt.
• Le score final est calculé comme la moyenne du Score Modèle et du Score Syntaxe.