Prompt engineering

📝 Studie-opmerkingen: Prompt Engineering

Definitie en Doel

• Prompt Engineering: Het proces van een bestaande prompt verbeteren om betrouwbaardere en kwalitatief hogere outputs van een model te krijgen.
• Module Structuur:
• Schrijf een initiële (vaak slechte) prompt.
• Evalueer de prompt (verwacht een lage score).
• Pas prompt engineering technieken toe.
• Her-evalueer om de prestaties te verbeteren.

Het Projectdoel

• Het doel is een prompt te creëren die een dagmenu genereert voor een atleet.
• De input voor de prompt omvat: lengte, gewicht, fysiek doel en dieetbeperkingen.

Evaluatie Pipeline

• Prompt Evaluator: Een klasse die de datasetgeneratie en de beoordeling (grading) door het model bundelt.
• Concurrency: De evaluator ondersteunt gelijktijdigheid (meerdere API-aanroepen tegelijk) om het proces te versnellen.
• Let op: Als er rate limit errors optreden, verlaag dan de waarde van max concurrent tasks (bijv. naar 1).
• Dataset Generatie: Vereist het definiëren van de doelstelling van de prompt en de vereiste input-specificaties (bijv. lengte in CM, gewicht in kg).
• Extra Criteria: Een argument dat tijdens het modelbe

Takeaways

• Prompt Engineering is het proces van een bestaande prompt verbeteren om betrouwbaardere en kwalitatief hogere outputs te verkrijgen.
• De methode is iteratief: een initiële prompt schrijven, evalueren (lage score verwachten), prompt engineering technieken toepassen en her-evalueren.
• Het projectdoel is het genereren van een dagmenu voor een atleet op basis van specifieke input (lengte, gewicht, fysiek doel, dieetbeperkingen).
• De Prompt Evaluator bundelt datasetgeneratie en beoordeling en ondersteunt gelijktijdigheid om het proces te versnellen.
• Bij rate limit errors moet de waarde van de maximale gelijktijdige taken verlaagd worden.