A typical eval workflow

Studiennotizen: Prompt-Evaluierungs-Workflow

Allgemeine Konzepte

• Keine Standardmethode: Es gibt keine einheitliche, feste Methode für Prompt-Evaluierungen in der Branche.
• Flexibilität: Workflows können individuell zusammengesetzt werden.
• Start klein: Man muss nicht sofort eine komplexe Lösung verwenden; man kann mit einem einfachen Setup beginnen und später skalieren.
• Tools: Es gibt zahlreiche Open-Source- und kommerzielle Pakete zur Implementierung.

Schritte eines typischen Prompt-Evaluierungs-Workflows

• Initial Prompt Draft (Initialer Prompt-Entwurf):
• Erstellung des Ausgangsprompts, der verbessert werden soll (z. B. "Bitte beantworte die Frage des Benutzers. ").
• Evaluation Dataset (Evaluierungsdatensatz erstellen):
• Erstellung einer Liste verschiedener möglicher Eingaben (Inputs), die in den Prompt eingefügt werden sollen (z. B. verschiedene Fragen).
• Generierung (Ausführung):
• Jeder Input aus dem Datensatz wird zusammen mit dem Prompt an das LLM (z. B. Claude) gesendet.
• Ziel: Erhalt einer tatsächlichen Antwort für jeden Testfall.
• Grading (Bewertung):
• Die ursprüngliche Frage und die generierte Antwort werden dem sogenannten "Grader" (einem Bewertungssystem) zur Bewertung vorgelegt.
• Der Grader vergibt einen Score (z. B. von 1 bis 10) basierend auf der Qualität der Antwort.
• Aggregation (Mittelwertbildung):
• Alle einzelnen Scores werden zusammengefasst und gemittelt, um einen objektiven Gesamtscore für den ursprünglichen Prompt zu erhalten.
• Iteration (Verfeinerung):
• Basierend auf dem Score wird der Prompt angepasst (z. B. durch Hinzufügen von Detailanweisungen).
• Der gesamte Prozess wird mit dem neuen Prompt wiederholt.
• Vergleich: Der Score des neuen Prompts wird mit dem Score des alten Prompts verglichen, um die Verbesserung zu beurteilen.

Takeaways

• Es gibt keine Standardmethode für Prompt-Evaluierungen; Workflows sind flexibel und können individuell zusammengesetzt werden.
• Ein typischer Workflow ist iterativ: Prompt wird erstellt, mit einem Evaluierungsdatensatz getestet und anschließend verfeinert.
• Der Prozess umfasst die Schritte: Initialer Prompt → Generierung durch das LLM → Grading (Bewertung durch einen Grader) → Aggregation der Scores.
• Die Verbesserung des Prompts wird durch den Vergleich des Gesamtscores des neuen Prompts mit dem Score des alten Prompts beurteilt.