Generating test datasets

Studiennotizen: Prompt-Evaluierung und Datensatz-Erstellung

• Ziel des Workflows: Erstellung eines benutzerdefinierten Workflows zur Evaluierung von Prompts.
• Ziel des Prompts: Benutzer bei der Erstellung von Code für AWS-Szenarien unterstützen.
• Erwartete Ausgaben (Output): Der Prompt muss eine der folgenden drei Formate liefern:
• Python-Code
• JSON-Konfiguration
• Roh-Regulärer Ausdruck (RegEx)
• Wichtige Einschränkung: Die Ausgabe darf keine Erklärungen, Header oder Footer enthalten; nur der Code/die Konfiguration.
• Datensatz-Aufbau: Ein Datensatz besteht aus Inputs, die durch den Prompt laufen, um die Leistung zu bewerten.
• Struktur des Datensatzes: Ein Array von JSON-Objekten, wobei jedes Objekt eine task-Eigenschaft enthält (die Aufgabe, die gelöst werden soll).
• Datensatz-Generierung:
• Kann manuell oder automatisch (z. B. mithilfe von Claude) erstellt werden.
• Tipp: Für die Generierung von Datensätzen kann ein schnelleres Modell (z. B. Haiku) verwendet werden.
• API-Aufruf-Methode: Es wird die Methode "Pre-filling und Stop Sequence" verwendet.
• Stop Sequence: Die Sequenz zur Beendigung der generierten Antwort ist drei Backticks (`).
• Speichern: Der erstellte Datensatz wird in einer Datei (z. B. dataset. json) gespeichert.

Takeaways

• Der Workflow dient der Evaluierung eines Prompts, der AWS-Code (Python, JSON, RegEx) generieren soll.
• Die Ausgabe des Prompts muss strikt nur den Code oder die Konfiguration enthalten, ohne Erklärungen, Header oder Footer.
• Der Datensatz besteht aus einem Array von JSON-Objekten, wobei jedes Objekt die Aufgabe (task) enthält.
• Die API-Aufruf-Methode ist "Pre-filling und Stop Sequence", wobei die Stop Sequence drei Backticks (`) definiert.