Generating test datasets

Studie-opmerkingen: Prompt Evaluatie Workflow

• Doel van de Workflow: Het opzetten van een proces om de prestaties van een custom prompt te evalueren.
• Doel van de Prompt: Het genereren van code die specifiek is voor AWS-gebruiksscenario's.
• Output Beperkingen: De prompt moet altijd één van de volgende drie outputtypes leveren:
• Python-code
• JSON-configuratie
• Ruwe reguliere expressie (regex)
• Belangrijk: Er mag geen uitleg, header of footer worden toegevoegd aan de output.
• Dataset Assemblage:
• Een dataset bestaat uit inputs die door de prompt worden gevoed.
• De dataset is een array van JSON-objecten, waarbij elk object een task eigenschap bevat die de vereiste taak beschrijft.
• Dataset Generatie:
• De dataset kan handmatig of automatisch met Claude worden gegenereerd.
• Tip: Gebruik een snellere modelvariant (zoals Haiku) voor het genereren van testgevallen.
• Implementatie (Code):
• De functie generate_data_set vraagt Claude om testgevallen te genereren.
• API Aanroep: Gebruik een lijst van berichten (User prompt + Assistant instructie).
• Controle: Gebruik een stop-sequentie (bijv. json`) om de output van Claude te beperken.
• Verwerking: De ontvangen tekst moet worden geparst als JSON (JSON. loads).
• Opslag: De uiteindelijke, gevalideerde dataset wordt opgeslagen in een bestand (bijv. dataset. json) voor latere evaluatie.

Takeaways

• Het doel van de workflow is het evalueren van de prestaties van een prompt die AWS-specifieke code genereert.
• De output van de prompt moet strikt beperkt zijn tot Python-code, JSON-configuratie of ruwe regex, zonder enige uitleg, header of footer.
• De dataset bestaat uit een array van JSON-objecten, waarbij elk object de vereiste taak beschrijft via de task eigenschap.
• De implementatie gebruikt een API-aanroep met een stop-sequentie (bijv. `json) om de output te controleren en deze vervolgens te parsen met JSON. loads.