Generating test datasets

Studiennotizen: Prompt-Evaluierungs-Workflow

**I. Ziel des Prompts**

• Hauptziel: Erstellung eines benutzerdefinierten Workflows zur Evaluierung von Prompts.
• Funktion: Der Prompt soll Benutzern helfen, spezifischen Code für AWS-Anwendungsfälle zu schreiben.
• Ausgabe (Output): Die Antwort muss immer eine der folgenden drei Formate sein:
• Python-Code
• JSON-Konfiguration
• Roh-Regulärer Ausdruck (Regular Expression)
• Format-Regel: Die Ausgabe darf keinerlei Erklärungen, Header oder Footer enthalten – nur die Lösung.

**II. Aufbau des Datensatz-Sets (Dataset)**

• Zweck: Ein Datensatz enthält eine Reihe von Inputs, die in den Prompt eingespeist werden.
• Struktur: Ein Array von JSON-Objekten.
• Inhalt: Jedes Objekt muss eine Eigenschaft "task" enthalten, welche die zu lösende Aufgabe beschreibt.
• Generierung: Der Datensatz kann manuell oder automatisch (z. B. mithilfe von Claude) erstellt werden.

**III. Technische Umsetzung (Code-Logik)**

• Prompt-Design: Ein detaillierter Prompt wird verwendet, um Claude anzuweisen, Testfälle (Tasks) zu generieren.
• API-Aufruf:
• Verwendung einer Liste von Nachrichten (Messages).
• Einschluss einer Benutzer-Nachricht (User Message) und einer Assistent-Nachricht (Assistant Message).
• Kontrolle: Einsatz von Pre-filling und Stop-Sequenzen (z. B. `) zur Steuerung der Ausgabe.
• Nachbearbeitung: Der generierte Text muss geparsed werden (JSON. loads), um das strukturierte Daten-Set zu erhalten.
• Speicherung: Das finale Evaluierungs-Datensatz-Set wird in einer Datei (z. B. dataset. json) gespeichert.

Takeaways

• Das Hauptziel des Prompts ist die Erstellung eines benutzerdefinierten Workflows zur Evaluierung von Prompts, die spezifischen Code (Python, JSON, Regular Expression) generieren.
• Der Datensatz ist ein Array von JSON-Objekten, wobei jedes Objekt die zu lösende Aufgabe ("task") beschreibt.
• Die technische Umsetzung erfolgt über API-Aufrufe mit einer Liste von Nachrichten (User/Assistant) und Steuerung durch Pre-filling und Stop-Sequenzen.
• Der generierte Text muss nach der API-Antwort geparsed werden (JSON. loads), um das strukturierte Evaluierungs-Set zu erhalten.