Exercise on prompt evals

Lernnotizen: Verbesserung des Modell-Prüfers (Model Grader)

• Ziel: Den Modell-Prüfer verbessern, indem ihm mehr Kontext darüber gegeben wird, wie eine gute Lösung aussehen muss.
• Strategie: Der Prozess erfolgt in zwei Schritten.

Schritt 1: Datengenerierung anpassen

• Der Prompt, der den Datensatz generiert, muss modifiziert werden.
• Es wird angefordert, dass jeder Testfall zusätzliche "Lösungs-Kriterien" (Solution Criteria) enthält.
• Diese Kriterien beschreiben, welche Merkmale eine gute Lösung aufweisen muss.

Schritt 2: Prüfer-Prompt anpassen

• Der Prompt des Modell-Prüfers ("grade by model prompt") wird angepasst.
• Die in Schritt 1 generierten Lösungs-Kriterien werden in diesen Prompt eingefügt.
• Dies dient als explizierte Anweisung an das Modell, wie es die eingereichte Lösung bewerten soll.

Ergebnis

• Der Modell-Prüfer erhält eine klarere Vorstellung von einer "guten Lösung".
• Die resultierende Begründung (Reasoning) des Prüfers wird dadurch detaillierter und fundierter.

Takeaways

• Ziel ist die Verbesserung des Modell-Prüfers durch Bereitstellung von Kontext zu idealen Lösungen.
• In Schritt 1 werden Lösungs-Kriterien (Solution Criteria) in den Datengenerierungs-Prompt aufgenommen.
• In Schritt 2 werden diese Lösungs-Kriterien in den Prüfer-Prompt integriert.
• Das Ergebnis ist eine klarere Vorstellung des Prüfers von einer "guten Lösung" und fundiertere Begründungen.