Code based grading

📝 Studieopmerkingen: Implementatie van een Code Grader

Doel van de Code Grader

• De code grader controleert de output van het model om te verzekeren dat deze voldoet aan een specifiek formaat (Python, JSON, of RegEx) en dat de syntaxis geldig is.
• De output mag geen uitleg of commentaar bevatten.

Validatiemechanisme

• Er worden drie helper-functies gedefinieerd: validateJSON, validatePython, en validateRegEx.
• Validatiestappen:
• De output wordt geprobeerd te parsen (JSON) of te compileren (Python AST of RegEx).
• Succesvolle validatie: Retourneert een volledige score van 10.
• Fout tijdens parsing: Retourneert een score van 0 (mislukt de syntaxiscontrole).

Vereisten voor de Dataset

• De test dataset moet een format sleutel bevatten.
• Deze sleutel specificeert het verwachte formaat voor elke taak (bijv. "JSON", "Python", of "regex").
• Dit stelt de grader in staat om de juiste validatie-functie aan te roepen.

Implementatiestappen

• Functies Toevoegen: Implementatie van de drie validatie-functies en een dispatch-functie (gradeSyntax) die de juiste validator aanroept op basis van de format sleutel.
• Dataset Update: De dataset wordt aangepast om de format sleutel toe te voegen aan de voorbeeld-output.
• Prompt Optimalisatie: De prompt template wordt bijgewerkt om het model strikt te dwingen om alleen de ruwe code (Python, JSON, of RegEx) te leveren, zonder enige bijkomende tekst.
• Score Aggregatie: De uiteindelijke score wordt berekend door de Model Score en de Syntax Score te middelen:
• Score = (Model Score + Syntax Score) / 2.

Takeaways

• De Code Grader controleert of de output voldoet aan een specifiek formaat (Python, JSON, of RegEx) en of de syntaxis geldig is.
• De dataset moet een 'format' sleutel bevatten om te specificeren welke validatie-functie (bijv. validateJSON) moet worden aangeroepen.
• Succesvolle validatie levert een score van 10 op; fouten tijdens parsing of compilatie resulteren in een score van 0.
• De uiteindelijke score wordt berekend door de Model Score en de Syntax Score te middelen.