Model based grading

🎯 Ziel des Graders

• Ein Grader nimmt den Output eines Modells entgegen und liefert ein objektives Signal.
• Signalformen: Zahl (z. B. 1 bis 10), Wahr/Falsch (True/False).
• Häufigste Praxis: Bewertung auf einer Skala (z. B. 1 bis 10), wobei 10 = hohe Qualität und 1 = niedrige Qualität.

⚙️ Drei Arten von Grader-Systemen

1. Code-basierter Grader (Code-based Grader)

• Funktionsweise: Der Modell-Output wird in ein selbst geschriebenes Code-Snippet eingespeist.
• Prüfungen: Programmatische Checks (z. B. Länge, Vorhandensein bestimmter Wörter).
• Spezialfälle: Syntax-Validierung (bei JSON oder Code), Lesbarkeits-Score.
• Anforderung: Muss ein nutzbares Signal zurückgeben.

2. Modell-basierter Grader (Model-based Grader)

• Funktionsweise: Der Output des ursprünglichen Modells wird als Input für einen zusätzlichen Modell-API-Aufruf verwendet.
• Vorteil: Hohe Flexibilität. Das Modell kann die Antwort auf allgemeine Qualität, Befolgung von Anweisungen oder Vollständigkeit bewerten.
• Anforderung: Muss ein objektives Signal zurückgeben (meist eine Zahl 1 bis 10).

3. Mensch-basierte Bewertung (Human-based Grading)

• Funktionsweise: Ein tatsächlicher Mensch bewertet die Modell-Outputs.
• Vorteil: Maximale Flexibilität bei der Definition der Bewertungskriterien.
• Nachteil: Sehr zeitaufwendig und mühsame Arbeit.

💡 Wichtige Konzepte und Anwendung

• Bewertungskriterien definieren: Bevor man beginnt, muss festgelegt werden, welche Aspekte des Outputs bewertet werden (z. B. Format, Syntax, Aufgabenbefolgung).
• Anwendungsbeispiel:
• Format und Syntax (Python, JSON, Regex) → Code-basierter Grader.
• Allgemeine Aufgabenbefolgung und Korrektheit → Modell-basierter Grader.
• Tipp für Modell-Grader: Um konkretere Scores zu erhalten, sollte der Prompt das Modell bitten, nicht nur eine Zahl zu geben, sondern auch Begründungen, Stärken und Schwächen zu liefern.
• Prozess (Modell-Grader):
• Prompt erstellen (Rolle, Aufgabe, Lösung, Anweisungen).
• Modell aufrufen.
• JSON-Output extrahieren und parsen.
• Endziel: Alle einzelnen Scores zusammenfassen und einen Durchschnitt berechnen, um eine objektive Metrik für die Prompt-Leistung zu erhalten.

Takeaways

• Der Grader liefert ein objektives Signal (Zahl oder Wahr/Falsch) zur Bewertung der Qualität des Modell-Outputs.
• Es gibt drei Grader-Systeme: Code-basiert (prüft Struktur/Syntax), Modell-basiert (nutzt ein zusätzliches LLM für Flexibilität) und Mensch-basiert (maximale Flexibilität, aber zeitaufwendig).
• Die Anwendung richtet sich nach den Kriterien: Code-basierte Grader eignen sich für Format und Syntax (z. B. JSON), während Modell-basierte Grader für allgemeine Aufgabenbefolgung genutzt werden.
• Bei Modell-Gradern sollte der Prompt das Modell bitten, Begründungen und Stärken/Schwächen zu liefern, um präzisere Scores zu erhalten.
• Das Endziel ist die Zusammenfassung aller Scores zu einem objektiven Durchschnittswert für die Prompt-Leistung.