Code based grading

Studie-opmerkingen: Implementatie van een Code Grader

Doel van de Code Grader

• De grader valideert de output van het model om te verzekeren dat deze puur Python, JSON of een Reguliere Expressie (RegEx) is, zonder uitleg of commentaar.
• Het controleert of de output syntactisch geldig is voor het gespecificeerde formaat.

Validatiemechanisme

• Drie helper-functies zijn gedefinieerd: validateJSON, validatePython, en validateRegEx.
• Elke functie probeert de output te parsen (JSON) of te compileren (Python/RegEx).
• Succesvolle parsing/compilatie resulteert in een volledige score van 10.
• Een fout tijdens het parsing-proces resulteert in een score van 0 (mislukt syntaxiscontrole).

Vereisten voor de Dataset

• De testcase dataset moet een format sleutel bevatten.
• Deze sleutel specificeert het verwachte formaat van de output (bijv. "JSON", "Python", "regex").

Stappen voor Implementatie

• Toevoegen van Validatie Functies: Implementatie van de drie validatie-functies (AddInFunctions).
• Dataset Update: De dataset wordt aangepast om de format sleutel per taak te bevatten.
• Prompt Template Optimalisatie: De prompt wordt aangepast om het model strikt te dwingen om alleen het gevraagde formaat (JSON, Python, of RegEx) te leveren, zonder extra commentaren.
• Output Structuur: Gebruik van een vooraf ingevulde assistent-bericht en een stop-sequentie (bijv. drie backticks) om de ruwe code-output te forceren.
• Score Aggregatie: De uiteindelijke score wordt berekend door de Model Score en de Syntax Score te middelen.
• Formule: (Model Score + Syntax Score) / 2

Takeaways

• De Code Grader valideert of de output puur Python, JSON of RegEx is, zonder commentaar of uitleg.
• Validatie vindt plaats via drie functies; succesvolle parsing/compilatie resulteert in 10 punten, fouten in de syntaxis leiden tot 0.
• De testcase dataset moet een format sleutel bevatten die het verwachte outputtype (bijv. "JSON") specificeert.
• De uiteindelijke score wordt berekend door de Model Score en de Syntax Score te middelen (Model Score + Syntax Score) / 2.