Model based grading

🎯 Grundkonzept des Graders

• Zweck: Ein Grader nimmt die Ausgabe eines Modells entgegen und liefert ein objektives Signal zur Bewertung der Qualität.
• Signalform: Häufig ist dies eine Zahl (z. B. 1 bis 10), wobei 10 die höchste Qualität und 1 die niedrigste darstellt.
• Voraussetzung: Unabhängig vom Stil muss vorab festgelegt werden, welche Bewertungskriterien (Evaluation Criteria) beurteilt werden sollen.

⚙️ Drei Arten von Grader-Systemen

1. Code-basierte Grader (Code-based Graders)

• Funktionsweise: Die Modellausgabe wird in einen selbst geschriebenen Code-Snippet eingespeist.
• Mögliche Prüfungen:
• Programmatische Überprüfung der Länge (zu kurz/zu lang).
• Prüfung auf das Vorhandensein oder Fehlen bestimmter Wörter.
• Syntax-Validierung (z. B. bei JSON oder Code).
• Komplexe Checks (z. B. Lesbarkeits-Score).
• Anforderung: Der Code muss ein nutzbares Signal zurückgeben.

2. Modell-basierte Grader (Model-based Graders)

• Funktionsweise: Die Modellausgabe wird als Input für ein zusätzliches Modell (ein weiterer API-Aufruf) verwendet.
• Vorteile: Hohe Flexibilität; das Modell kann die Antwort auf allgemeine Qualität, Einhaltung von Anweisungen oder Vollständigkeit bewerten.
• Anforderung: Das Modell muss ein objektives Signal zurückgeben (meist eine Zahl 1 bis 10).

3. Mensch-basierte Grader (Human-based Grading)

• Funktionsweise: Eine reale Person bewertet die Modellausgabe.
• Vorteile: Maximale Flexibilität bei der Definition der Bewertungsmetrik.
• Nachteil: Sehr zeitaufwendig und mühsame Arbeit (tedious).

💡 Anwendung und Implementierung

• Kombination der Methoden:
• Code-Grader: Ideal für Format- und Syntaxprüfungen (z. B. ist die Ausgabe gültiges JSON oder Python? ).
• Modell-Grader: Ideal für die Bewertung der allgemeinen Aufgabenlösung und des Inhalts (z. B. wurde die Benutzerfrage klar beantwortet? ).
• Optimierung des Modell-Gradings:
• Um eine präzisere Bewertung zu erhalten, sollte der Prompt des Graders nicht nur nach einem Score fragen.
• Tipp: Fordern Sie zusätzlich eine Begründung (Reasoning), Stärken und Schwächen an. Dies verhindert oft generische, mittlere Scores (z. B. 6).
• Workflow:
• Modell generiert Output.
• Grader (Code oder Modell) bewertet den Output und liefert einen Score und Begründung.

3

Takeaways

• Ein Grader liefert ein objektives Qualitätssignal (z. B. 1 bis 10) basierend auf vordefinierten Bewertungskriterien.
• Es gibt drei Grader-Typen: Code-basiert (Prüfung von Format/Syntax), Modell-basiert (Bewertung von Inhalt/Flexibilität) und Mensch-basiert (maximale Flexibilität, aber zeitaufwendig).
• Die Methoden können kombiniert werden: Code-Grader für die Format- und Syntaxprüfung, Modell-Grader für die allgemeine Aufgabenlösung.
• Um präzisere Bewertungen zu erhalten, sollte der Prompt des Modell-Graders zusätzlich eine Begründung (Reasoning) und eine Analyse von Stärken/Schwächen fordern.