Prompt engineering

📝 Studie-opmerkingen: Prompt Engineering

Definitie en Doel

• Prompt Engineering: Het proces van een geschreven prompt verbeteren om betrouwbaardere en kwalitatief hogere outputs van een model te krijgen.
• Module Structuur:
• Schrijf een initiële prompt (vaak een slechte eerste poging).
• Evalueer de prompt (verwacht een lage score).
• Pas Prompt Engineering technieken toe om de prompt te verbeteren.
• Evalueer opnieuw om betere prestaties te zien.

Het Doel van de Prompt

• De prompt moet een dagmenu genereren voor een atleet.
• De inputparameters die nodig zijn zijn:
• Lengte (bijv. in CM)
• Gewicht (bijv. in kg)
• Fysiek doel van de atleet
• Dieetbeperkingen

Evaluatie Pipeline

• Prompt Evaluator: Een klasse die de datasetgeneratie en de beoordeling door het model bundelt.
• Concurrency: De evaluator ondersteunt gelijktijdigheid (meerdere API-aanroepen tegelijk) om het proces te versnellen.
• Let op: Wees voorzichtig met rate limit errors; verlaag de concurrency indien nodig.
• Dataset Generatie: Dit proces definieert de doelstelling en de vereiste inputparameters (bijv. height, weight, goal, restrictions).
• Extra Criteria: Een string die tijdens de modelbeoordeling wordt meegegeven. Dit stelt de ontwikkelaar in staat om specifieke outputvereisten te dicteren (bijv. "de output moet een dagelijkse calorie-totaal en een macronutriëntenverdeling bevatten").
• Output: Na de evaluatie wordt een output. html bestand gegenereerd met een gedetailleerd rapport per testgeval en score.

Takeaways

• Prompt Engineering is het proces van een geschreven prompt verbeteren om betrouwbaardere en kwalitatief hogere outputs te verkrijgen.
• Het proces is iteratief: een initiële prompt wordt geschreven, geëvalueerd (lage score), verbeterd met technieken, en opnieuw geëvalueerd.
• Voor het genereren van een dagmenu voor een atleet zijn specifieke inputparameters vereist: lengte, gewicht, fysiek doel en dieetbeperkingen.
• De Prompt Evaluator bundelt datasetgeneratie en modelbeoordeling, waarbij 'Extra Criteria' de ontwikkelaar toestaat specifieke outputvereisten te dicteren (bijv. calorie-totaal).