A typical eval workflow

Prompt-Evaluierungs-Workflow: Schlüsselkonzepte

• Flexibilität: Es gibt keine einheitliche Standardmethode für Prompt-Evaluierungen. Viele Open-Source- und kostenpflichtige Lösungen sind verfügbar.
• Ziel: Ein benutzerdefiniertes Evaluierungs-Framework von Grund auf implementieren (klein anfangen und dann skalieren).

Die 4 Schritte des typischen Prompt-Evaluierungs-Workflows:

• Initialer Prompt-Entwurf:
• Erstellung des Ausgangsprompts (z. B. "Bitte beantworte die Frage des Benutzers").
• Erstellung des Evaluierungsdatensatzes:
• Definieren einer Liste möglicher Eingaben (Fragen), die in den Prompt eingefügt werden sollen.
• Hinweis: In der Praxis können dies Hunderte oder Tausende von Datensätzen sein.
• Ausführung und Bewertung (Grading):
• Jeder Datensatz wird in den Prompt eingefügt und an das LLM (z. B. Claude) gesendet → Antwort erhalten.
• Bewertung: Die ursprüngliche Frage und die erhaltene Antwort werden einem Grader (einem Bewertungsprozess) vorgelegt.
• Ergebnis: Der Grader gibt einen Score (z. B. 1 bis 10) basierend auf der Qualität der Antwort aus.
• Aggregation und Iteration:
• Aggregation: Alle Scores werden gemittelt → Erhalt eines objektiven Leistungsmaßes für den ursprünglichen Prompt.
• Iteration: Der Prompt wird basierend auf dem Score angepasst (z. B. durch Hinzufügen von Detailanweisungen).
• Vergleich: Der gesamte Prozess wird wiederholt, um den Score des neuen Prompts mit dem alten zu vergleichen (z. B. Score V2 ≥ Score V1).

Takeaways

• Die Prompt-Evaluierung ist kein Standardprozess, sondern erfordert die Implementierung eines benutzerdefinierten Framework.
• Der Workflow beginnt mit der Erstellung eines Evaluierungsdatensatzes, der alle möglichen Eingaben für den Prompt definiert.
• Die Ausführung beinhaltet die Übermittlung des Prompts an das LLM, gefolgt von einer Bewertung (Grading) durch einen Grader.
• Die Aggregation der Scores dient der Iteration: Der Prompt wird basierend auf dem Ergebnis angepasst und der neue Score (V2) mit dem alten (V1) verglichen.