Code based grading

📝 Studie-notities: Implementatie van een Code Grader

Doel van de Code Grader

• De code grader valideert de output van het model om te verzekeren dat deze puur Python, JSON of een reguliere expressie (RegEx) is, zonder uitleg of commentaar.
• Het controleert of de output syntactisch geldig is voor het gespecificeerde formaat.

Validatiemechanisme

• Er worden drie helper-functies gedefinieerd: validateJSON, validatePython, en validateRegEx.
• Logica: Elke functie probeert de modeloutput te parsen (JSON) of te compileren (Python AST of RegEx).
• Succesvolle parsing/compilatie → Volledige score van 10.
• Fout tijdens de parsing → Score van 0 (mislukt syntaxiscontrole).

Vereisten voor de Dataset

• De testcase dataset moet een format sleutel bevatten.
• Deze sleutel specificeert het verwachte formaat van de output (bijv. "JSON", "Python", of "regex"), zodat de juiste validator kan worden aangeroepen.

Implementatiestappen

• Functies Toevoegen: Implementeer de drie validatie-functies en een algemene functie (grade_syntax) die op basis van de format sleutel de juiste validator aanroept.
• Dataset Update: Voeg de format sleutel toe aan de dataset-items.
• Prompt Optimalisatie: Update de draft prompt template om het model strikt te dwingen om alleen de gevraagde code (Python, JSON, of RegEx) te leveren, en om alle commentaren of uitleg te vermijden.
• Score Aggregatie: Combineereer de scores van de modelgrader en de code grader.
• Eindscore = (Model Score + Syntaxis Score) / 2.

Belangrijk om te Onthouden

• De syntaxisvalidatie voor Python maakt gebruik van het Abstract Syntax Tree (AST) van Python.
• Het toevoegen van een format sleutel in de dataset is cruciaal voor het correct instellen van de validatie.

Takeaways

• De Code Grader valideert de syntaxis van de output (Python, JSON of RegEx) en controleert of er geen uitleg of commentaar is.
• Er worden drie validatie-functies (validateJSON, validatePython, validateRegEx) gebruikt om de modeloutput te parsen of te compileren.
• De testcase dataset moet een format sleutel bevatten om aan te geven welke validator moet worden aangeroepen.
• Succesvolle syntaxiscontrole resulteert in een score van 10; een fout leidt tot een score van 0.
• De eindscore wordt berekend als het gemiddelde van de modelscore en de syntaxis score.