Exercise on prompt evals

Lernnotizen: Verbesserung des Model Grader durch Kontext-Hinzufügung

• Ziel: Verbesserung der Leistung des Model Grader (Bewertungssystem) durch Bereitstellung klarer Richtlinien für eine „gute Lösung“.
• Strategie: Der zusätzliche Kontext wird in zwei Schritten implementiert.

Schritt 1: Anpassung des Datensatz-Generierungs-Prompts

• Aktion: Im Prompt, der die Testfälle generiert, wird die Anforderung eingeführt, dass jeder Testfall spezifische „Solution Criteria“ (Lösungs-Kriterien) enthalten muss.
• Ergebnis: Die generierten Testfälle enthalten nun eine definierte Beschreibung, was eine korrekte Lösung beinhalten sollte (z. B. bestimmte Merkmale).

Schritt 2: Anpassung des Bewertungs-Prompts (Grade by Model)

• Aktion: Die neu generierten „Solution Criteria“ werden in den Prompt des Model Grader eingefügt.
• Funktion: Diese Kriterien dienen als direkte Anweisung an das Modell, wie es die eingereichte Lösung bewerten soll.
• Prozess: Das Modell erhält nun die ursprüngliche Aufgabe → die generierte Lösung → die spezifischen Bewertungskriterien.

Fazit und Ergebnis

• Die explizite Bereitstellung von Lösungs-Kriterien führt dazu, dass die Begründungsabschnitte (Reasoning) des Model Grader detaillierter und fundierter werden.

Takeaways

• Ziel ist die Leistungssteigerung des Model Grader durch die Bereitstellung klar definierter Lösungs-Kriterien.
• Die Strategie erfolgt in zwei Schritten: Zuerst werden die Testfall-Generierungs-Prompts angepasst, um spezifische Lösungs-Kriterien zu definieren.
• Anschließend werden diese Kriterien in den Bewertungs-Prompt des Model Grader integriert, um die Bewertung zu steuern.
• Das Modell erhält somit die Aufgabe, die generierte Lösung und die spezifischen Bewertungskriterien.
• Die explizite Bereitstellung von Kriterien führt zu detaillierteren und fundierteren Begründungen des Model Grader.