Code based grading

📝 Lernnotizen: Implementierung eines Code Graders

Ziel des Code Graders:

• Überprüfung der Modell-Ausgabe, um sicherzustellen, dass diese nur reinen Code (Python, JSON oder RegEx) enthält, ohne Erklärungen.
• Validierung der Syntax des erzeugten Codes.

Validierungsmechanismus:

• Drei Hilfsfunktionen werden definiert: validateJSON, validatePython und validateRegEx.
• Logik:
• Versuche, die Modell-Ausgabe zu parsen (als JSON, als Python Abstract Syntax Tree (AST) oder als RegEx zu kompilieren).
• Erfolgreiches Parsen/Kompilieren → Volle Punktzahl (10).
• Fehler beim Parsen/Kompilieren → Syntax-Fehler (0).

Daten- und Prompt-Anforderungen:

• Testdatensatz: Muss eine format-Eigenschaft enthalten, die den erwarteten Output-Typ angibt (z. B. "JSON", "Python", "regex").
• Prompt-Template: Muss explizit angewiesen werden, nur den gewünschten Code (JSON, Python oder RegEx) auszugeben und jegliche Kommentare oder Erklärungen zu vermeiden.
• Prompt-Optimierung: Verwendung eines "Code"-Pre-filled Assistant Messages und eines abschließenden Stop-Sequenz (z. B. mit Backticks), um die Ausgabe zu begrenzen.

Implementierungsschritte (Checkliste):

• Funktionen hinzufügen: Implementierung der Validierungsfunktionen (validateJSON, validatePython, validateRegEx).
• Datensatz aktualisieren: Hinzufügen des format-Schlüssels zu den Testfällen.
• Prompt anpassen: Strikte Anweisungen im Prompt, um die Ausgabe auf den gewünschten Code-Typ zu beschränken.
• Scores zusammenführen:
• Berechnung des Syntax-Scores (Code Grader).
• Berechnung des Model-Scores (Model Grader).
• Gesamtpunktzahl = (Model Score + Syntax Score) / 2.

Wichtiger Hinweis:

• Die Validierung ist nur so gut wie die Anweisungen im Prompt und die Struktur des Testdatensatzes.

Takeaways

• Der Code Grader prüft, ob die Modell-Ausgabe reiner Code (Python, JSON, RegEx) ist und validiert dessen Syntax.
• Die Validierung basiert auf dem erfolgreichen Parsen oder Kompilieren der Ausgabe (erfolgreich → 10 Punkte; Fehler → 0 Punkte).
• Testdatensätze müssen eine format-Eigenschaft enthalten, um den erwarteten Output-Typ zu definieren.
• Prompts müssen strikt anweisen, nur den gewünschten Code auszugeben und jegliche Erklärungen zu vermeiden.
• Die Gesamtpunktzahl setzt sich aus dem Model Score und dem Syntax Score zusammen (Durchschnitt).