Exercise on prompt evals

Studiennotizen: Verbesserung des Model Grader durch Kontext

Ziel: Den Model Grader verbessern, indem ihm mehr Kontext darüber gegeben wird, wie eine gute Lösung aussehen sollte.

Vorgehensweise: Das Problem wird in zwei Hauptschritte unterteilt.

Schritt 1: Datengenerierung anpassen

• Aktion: Den Prompt, der den Datensatz generiert, modifizieren.
• Anforderung: Die Generierung von Lösungskriterien (Solution Criteria) für jeden Testfall anfordern.
• Ergebnis: Jeder Testfall im Datensatz enthält nun einen Schlüssel (solution criteria), der beschreibt, welche Merkmale eine gute Lösung aufweisen muss.

Schritt 2: Grading-Prompt anpassen

• Aktion: Den Prompt der Funktion grade by model (Bewertung durch Modell) anpassen.
• Integration: Die in Schritt 1 generierten Lösungskriterien in den Grading-Prompt einfügen.
• Platzierung: Die Kriterien werden direkt nach der zu bewertenden Lösung in den Prompt eingefügt.

Zusammenfassung des Workflows:

• Daten-Prompt → Testfall mit Lösungskriterien → Grading-Prompt (Task + Solution + Lösungskriterien) → Verbesserte Modellbewertung.

Erwartetes Ergebnis:

• Der Model Grader liefert eine detailliertere und fundiertere Begründung (Reasoning Section), da er nun explizit weiß, nach welchen Kriterien er die Lösung bewerten soll.

Takeaways

• Ziel ist die Verbesserung des Model Graders durch die Bereitstellung expliziter Kontextinformationen.
• Schritt 1 beinhaltet die Modifikation des Datengenerierungs-Prompts zur Erzeugung spezifischer Lösungskriterien für jeden Testfall.
• Schritt 2 besteht in der Integration dieser generierten Lösungskriterien direkt in den Grading-Prompt.
• Der Workflow führt zur Bewertung des Tasks + Lösung + Lösungskriterien.
• Erwartet wird eine detailliertere und fundiertere Begründung (Reasoning Section) des Graders.