Code based grading

📝 Notes de Révision : Implémentation du Gradeur de Code

Objectif du Gradeur de Code (Code Grader)

• Vérifier que la sortie du modèle est strictement du Python, du JSON ou une expression régulière (RegEx).
• S'assurer que le code possède une syntaxie valide, sans aucune explication ou commentaire superflu.

Mécanisme de Validation

• Fonctions d'aide : Définir trois fonctions (validateJSON, validatePython, validateRegEx).
• Logique de score :
• Si le parsing ou la compilation réussit → Score de 10.
• Si une erreur de parsing survient → Score de 0.

Exigences des Données (Dataset)

• Le jeu de données doit inclure une clé format pour spécifier le type de sortie attendu pour chaque tâche (ex: "JSON", "Python", "regex").

Étapes d'Implémentation

• Ajout des Fonctions : Implémenter les fonctions de validation et une fonction de répartition (grade_syntax) qui appelle le bon validateur en fonction du format.
• Mise à Jour du Dataset : Ajouter la clé format aux exemples de sortie du jeu de données.
• Affinement du Prompt : Modifier le prompt pour exiger explicitement que le modèle réponde uniquement avec le format désiré (Python, JSON ou RegEx) et sans aucun commentaire.
• Fusion des Scores : Calculer le score final en fusionnant le score du modèle et le score de syntaxie.
• Score final = (Score Modèle + Score Syntaxe) / 2.

Takeaways

• Le gradeur vérifie que la sortie du modèle est strictement en Python, JSON ou RegEx et qu'elle est syntaxiquement valide.
• La validation repose sur des fonctions spécifiques (validateJSON, validatePython, validateRegEx) : succès → Score de 10 ; erreur → Score de 0.
• Le jeu de données doit inclure une clé format pour spécifier le type de sortie attendu pour chaque tâche.
• Le score final est calculé en fusionnant les scores du modèle et de syntaxie : Score final = (Score Modèle + Score Syntaxe) / 2.