Code based grading

📝 Lernnotizen: Implementierung eines Code-Prüfers (Code Grader)

🎯 Ziel des Code-Prüfers

• Der Code-Prüfer bewertet die Ausgabe eines Modells.
• Er stellt sicher, dass die Ausgabe nur reinen Code (Python, JSON oder Regulärer Ausdruck) enthält, ohne Erklärungen.
• Er validiert die Syntax des erzeugten Codes.

🛠️ Validierungsmechanismus

• Hilfsfunktionen: Es werden drei Funktionen definiert: validateJSON, validatePython und validateRegEx.
• Prüfprozess: Jede Funktion versucht, die Modell-Ausgabe zu parsen (JSON) oder zu kompilieren (Python/RegEx).
• Bewertung:
• Erfolgreiche Validierung → Volle Punktzahl (10).
• Fehler während der Validierung → Null (0).

⚙️ Implementierungsschritte

• Erkennung des Formats:
• Der Testdatensatz muss einen format-Schlüssel enthalten (z. B. "Python", "JSON", "regex").
• Eine Dispatcher-Funktion (gradeSyntax) nutzt diesen Schlüssel, um die korrekte Validierungsfunktion aufzurufen.
• Aktualisierung des Datensatzes:
• Der Datensatz wird erweitert, um den erwarteten format-Schlüssel für jede Aufgabe zu speichern.
• Optimierung des Prompts:
• Die Prompt-Vorlage wird angepasst, um das Modell strikt auf die Ausgabe von Python, JSON oder RegEx zu beschränken.
• Verwendung von json. dumps und Stop-Sequenzen (z. B. Backticks) zur Erzwingung des Roh-Code-Outputs.
• Zusammenführung der Scores:
• Der finale Score wird aus dem Model Score und dem Syntax Score berechnet.
• Formel: Score = (Model Score + Syntax Score) / 2.

💡 Wichtige Konzepte

• Iterativer Prozess: Die Leistung des Systems muss durch Testläufe und Anpassungen der Prompt-Vorlage kontinuierlich verbessert werden.
• Trennung der Aufgaben: Die Validierung der Inhaltstyp (JSON vs. Python) wird von der Validierung der Syntax getrennt.

Takeaways

• Der Code-Prüfer bewertet die Ausgabe eines Modells und stellt sicher, dass diese nur reiner Code (Python, JSON, RegEx) ist.
• Die Validierung erfolgt durch spezifische Hilfsfunktionen (z. B. validateJSON), die versuchen, die Modell-Ausgabe zu parsen oder zu kompilieren.
• Die Format-Erkennung erfolgt über einen format-Schlüssel im Testdatensatz, der eine Dispatcher-Funktion zur korrekten Validierung auslöst.
• Die Prompt-Vorlage wird optimiert (z. B. Stop-Sequenzen), um den strikten Output von Roh-Code zu erzwingen.
• Der finale Score ergibt den Durchschnitt aus dem Model Score und dem Syntax Score.