Generating test datasets

Studie-opmerkingen: Prompt Evaluatie Workflow

Doel van de Prompt:

• Het creëren van een prompt die gebruikers helpt bij het schrijven van code voor AWS-specifieke use cases.
• De prompt moet een taak van de gebruiker ontvangen en reageren met één van drie specifieke outputtypes.

Vereiste Outputtypes:

• Python-code.
• JSON-configuratie.
• Ruwe reguliere expressie (regex).
• Cruciaal: De output moet alleen het gevraagde resultaat zijn, zonder enige uitleg, kop of voettekst.

Componenten van de Workflow:

• Prompt: De instructie die aan het model wordt gegeven (bijv. V1: "Please provide a solution to the following task").
• Dataset: Een verzameling van inputs (taken) die in de prompt worden gevoed.
• Evaluatie: Het proces waarbij de prompt wordt getest op de dataset.

Dataset Assemblage:

• De dataset bestaat uit een array van JSON-objecten.
• Elk object bevat een task-eigenschap die de te voltooien taak beschrijft.
• Datasets kunnen handmatig of automatisch (met behulp van een LLM zoals Claude) worden gegenereerd.
• Tip: Gebruik een sneller model (zoals Haiku) voor het genereren van de dataset.

Implementatie (Dataset Generatie):

• Functie generate_data_set: Deze functie gebruikt een grote prompt om Claude te vragen testgevallen te genereren.
• Communicatie met Claude:
• Gebruik een lijst van berichten (messages).
• Voeg een gebruikersbericht (de prompt) toe.
• Voeg een assistentbericht toe met een stop-sequentie (bijv. `).
• Roep de chatfunctie aan met de berichten en stop-sequenties.
• Parseer de tekst die terugkomt met json. loads.
• Opslaan: De gegenereerde dataset kan worden opgeslagen in een bestand (bijv. dataset. json) met json. dump en een indent van twee.

Takeaways

• Het doel van de prompt is het genereren van AWS-specifieke code (Python, JSON, of regex) op basis van een taak.
• De output moet strikt het gevraagde resultaat zijn, zonder enige uitleg, kop of voettekst.
• De workflow bestaat uit drie stappen: Prompt → Dataset → Evaluatie.
• De dataset is een array van JSON-objecten, waarbij elk object een task-eigenschap bevat.
• Voor geautomatiseerde datasetgeneratie met een LLM (zoals Claude) moet een lijst van berichten worden gebruikt, inclusief een stop-sequentie.