Generating test datasets

📝 Lernnotizen: Prompt-Evaluierungs-Workflow

Ziel des Workflows:

• Aufbau eines benutzerdefinierten Prompt-Evaluierungs-Workflows.
• Ziel des Prompts: Unterstützung von Nutzern bei der Erstellung von AWS-spezifischem Code.

Prompt-Design und Output-Constraints:

• Eingabe: Eine Aufgabe (Task) des Nutzers.
• Ausgabe (Output): Muss exakt eine der folgenden drei Formate liefern:
• Python-Code
• JSON-Konfiguration
• Roh-Regulärer Ausdruck (Raw Regular Expression)
• Wichtig: Die Ausgabe darf keine zusätzlichen Erklärungen, Header oder Footer enthalten.

Daten-Set (Dataset) Erstellung:

• Definition: Ein Datensatz besteht aus einer Reihe von Inputs, die in den Prompt eingespeist werden.
• Struktur: Ein Array von JSON-Objekten, wobei jedes Objekt eine Eigenschaft 'task' enthält (die die zu lösende Aufgabe beschreibt).
• Generierung:
• Manuell oder automatisch (z. B. mithilfe von Claude).
• Optimierung: Für die Datengenerierung sollte ein schnelleres Modell (z. B. Haiku) verwendet werden.

Techniken zur JSON-Extraktion:

• Um die gewünschte JSON-Struktur aus der LLM-Antwort zu extrahieren, wird eine Kombination aus folgenden Elementen genutzt:
• Eine präfillierte Assistant-Nachricht.
• Eine Stop-Sequenz (z. B. drei Backticks `).
• Prozess: Die generierte Textantwort wird sofort mit dem JSON-Modul geparsed (JSON. loads).

Workflow-Schritte:

• Drafting: Erstellung des Basis-Prompts (z. B. V1).
• Assembly: Zusammenstellen des Datensatz-Arrays.
• Execution: Durchlaufen des Prompts für jeden Input im Datensatz.
• Saving: Speichern des fertigen Datensatz-Ergebnisses in einer JSON-Datei.

Takeaways

• Der Workflow dient der Erstellung eines benutzerdefinierten Prompt-Evaluierungs-Prozesses für AWS-Code.
• Die Prompt-Ausgabe ist strikt auf exakt ein Format beschränkt: Python-Code, JSON-Konfiguration oder Roh-Regulärer Ausdruck.
• Der Datensatz besteht aus einem Array von JSON-Objekten, wobei jedes Objekt die zu lösende Aufgabe ('task') enthält.
• Die JSON-Extraktion aus der LLM-Antwort wird durch eine Stop-Sequenz und anschließendes Parsen (JSON. loads) sichergestellt.
• Der Prozess folgt den Schritten: Drafting (Basis-Prompt), Assembly (Datensatz), Execution und Saving.