Code based grading

📝 Notes de Révision : Implémentation du Grade de Code

Objectif du Grade de Code (Code Grader)

• Vérifier si la sortie du modèle est du Python, du JSON ou une expression régulière (RegEx).
• S'assurer que la syntaxie du code est valide.

Mécanisme de Validation de la Syntaxe

• Fonctions d'aide : Définir trois fonctions (validateJSON, validatePython, validateRegEx).
• Logique de validation :
• Tenter de parser la sortie (JSON), de construire l'Arbre de Syntaxe Abstraite (AST) (Python), ou de compiler (RegEx).
• Succès du parsing/chargement → Score de 10.
• Échec du parsing → Score de 0.

Mise à Jour des Données et du Prompt

• Jeu de Données (Dataset) : Il est impératif d'inclure une clé format dans chaque cas de test (ex: "Python", "JSON", "RegEx") pour indiquer le type de code attendu.
• Ingénierie de Prompt :
• Mettre à jour le prompt pour exiger que le modèle réponde uniquement avec le format spécifié (JSON, Python, ou RegEx).
• Interdire tout commentaire ou explication.
• Utiliser un message d'assistant pré-rempli et une séquence d'arrêt pour garantir que seule la sortie brute (le code) est retournée.

Calcul du Score Final

• Le score final est la moyenne du Score du Modèle (Model Score) et du Score de Syntaxe (Syntax Score).
• Formule : Score = (Score Modèle + Score Syntaxe) / 2.

Takeaways

• Le Code Grader vérifie si la sortie du modèle est du Python, du JSON ou une expression régulière (RegEx) et valide sa syntaxie.
• La validation de la syntaxie est basée sur le succès du parsing, de la construction de l'AST ou de la compilation, donnant 10 points en cas de succès et 0 en cas d'échec.
• Chaque cas de test doit impérativement inclure une clé format (ex: "Python", "JSON") pour spécifier le type de code attendu.
• L'ingénierie de prompt doit exiger que le modèle réponde uniquement avec le format spécifié, sans commentaires ni explications.
• Le score final est calculé comme la moyenne du Score Modèle et du Score Syntaxe : Score = (Score Modèle + Score Syntaxe) / 2.