A typical eval workflow

Studiennotizen: Prompt-Evaluierungs-Workflow

Grundlagen des Workflows

• Es gibt keine einheitliche, standardisierte Methode für Prompt-Evaluierungen in der Branche.
• Workflows können flexibel und individuell zusammengestellt werden.
• Es gibt verschiedene Tools (Open Source und kostenpflichtig), um eigene Workflows zu implementieren.
• Man kann mit kleinen, einfachen Lösungen beginnen und diese später skalieren.

Die Schritte eines typischen Prompt-Evaluierungsprozesses

• Initialer Prompt-Entwurf:
• Definition des Basis-Prompts, der verbessert werden soll (z. B. "Bitte beantworte die Frage des Benutzers. ").
• Erstellung des Evaluierungsdatensatzes:
• Erstellung einer Liste möglicher Eingaben (Inputs/Fragen), die in den Prompt eingefügt werden sollen.
• In der Praxis können Datensätze sehr groß sein (Hunderte bis Tausende von Einträgen).
• Prompt-Ausführung (LLM-Interaktion):
• Jeder Eintrag aus dem Datensatz wird in den Prompt eingefügt, um eine vollständige Eingabe zu generieren.
• Diese vollständige Eingabe wird an das Sprachmodell (z. B. Claude) gesendet, um eine Antwort zu erhalten.
• Bewertung (Grading):
• Die ursprüngliche Frage und die generierte Antwort werden paarweise zusammengeführt.
• Diese Paare werden einem "Grader" (Bewertungsmodell) zur Bewertung vorgelegt.
• Der Grader vergibt eine Punktzahl (z. B. 1 bis 10) basierend auf der Qualität der Antwort.
• Aggregation:
• Alle einzelnen Scores werden zusammengefasst und gemittelt.
• Ergebnis: Ein objektiver Score, der die Leistung des ursprünglichen Prompts beschreibt.
• Iteration und Verfeinerung:
• Basierend auf dem Score wird der Prompt modifiziert (z. B. durch Hinzufügen von Detailanweisungen).
• Der gesamte Prozess wird mit dem neuen Prompt wiederholt.
• Die Scores der verschiedenen Prompt-Versionen werden verglichen, um die bessere Version zu identifizieren.

Takeaways

• Es existiert keine standardisierte Methode; Prompt-Evaluierungs-Workflows sind flexibel und skalierbar.
• Der Prozess beginnt mit einem Basis-Prompt und der Erstellung eines umfangreichen Evaluierungsdatensatzes (Inputs).
• Die Prompt-Ausführung erfolgt durch das Sprachmodell (LLM), welches die Antworten generiert.
• Die Qualität der generierten Antworten wird durch einen separaten "Grader" (Bewertungsmodell) bewertet und punktet.
• Das Ziel ist die Iteration und Verfeinerung des Prompts basierend auf den aggregierten Scores der verschiedenen Versionen.