Generating test datasets

Studie-opmerkingen: Prompt Evaluatie Workflow

Doel van de Workflow

• Het bouwen van een workflow om de prestaties van een prompt te evalueren.
• De prompt moet gebruikers helpen bij het schrijven van code voor AWS-specifieke use cases.

Prompt Specificaties

• Input: Een taak (task) van de gebruiker.
• Verplichte Output Formaten: De respons moet uitsluitend in één van de volgende drie formaten zijn:
• Python code
• JSON configuratie
• Ruwe reguliere expressie (raw regular expression)
• Beperking: De output mag geen uitleg, headers of footers bevatten.

Dataset Assemblage

• Definitie: Een dataset bestaat uit inputs die in de prompt worden gevoed.
• Structuur: Een array van JSON-objecten, waarbij elk object een task property bevat.
• Generatie: De dataset kan handmatig worden samengesteld of automatisch worden gegenereerd met behulp van een LLM (bijv. Claude).
• Optimalisatie: Gebruik van snellere modellen (zoals Haiku) wordt aanbevolen voor het genereren van de testset.

Implementatiestappen (Code)

• Helper-functie: Creëer een functie (bijv. GenerateDataSet) die de dataset genereert.
• Prompt voor Dataset: Gebruik een gedetailleerde prompt om Claude te vragen een reeks AWS-gerelateerde taken te genereren.
• JSON Extractie:
• Gebruik een pre-filled assistant message (met backticks, bijv. json`) om de LLM te sturen.
• Stel een stop-sequentie in (drie backticks ) om de JSON-output te isoleren.
• Parsing: De ontvangen tekst moet direct worden geparsed met json. loads() om de JSON-data te verkrijgen.
• Opslaan: De gegenereerde dataset kan worden opgeslagen in een JSON-bestand voor hergebruik.

Takeaways

• De workflow evalueert de prestaties van prompts die AWS-specifieke code genereren.
• De promptoutput is strikt beperkt tot één van drie formaten: Python code, JSON configuratie of ruwe reguliere expressie, zonder enige uitleg.
• De dataset bestaat uit een array van JSON-objecten, waarbij elk object een task bevat.
• LLM's (zoals Claude) kunnen de dataset genereren, waarbij specifieke stop-sequenties en pre-filled assistant messages cruciaal zijn voor betrouwbare JSON-extractie.