Exercise on prompt evals

Studie-opmerkingen: Verbetering van Model Grader via Context

• Doel: De model grader verbeteren door het model meer context te geven over wat een goede oplossing inhoudt.
• Methode: Dit kan in twee stappen worden uitgevoerd.

Stap 1: Data Generatie Aanpassen

• Actie: Ga terug naar de prompt die wordt gebruikt om de dataset te genereren.
• Wijziging: Vraag in deze prompt om specifieke 'solution criteria' (oplossingscriteria) voor elk testcase.
• Resultaat: De gegenereerde testcases bevatten nu een nieuwe sleutel (solution criteria) die beschrijft wat een goede oplossing moet bevatten (bijv. "Een goede oplossing bevat deze kenmerken... ").

Stap 2: Grader Prompt Aanpassen

• Actie: Zoek de prompt van de 'grade by model' functie.
• Wijziging: Voeg de zojuist gegenereerde 'solution criteria' toe aan deze grader prompt.
• Plaatsing: De criteria worden direct na de te evalueren oplossing geplaatst.
• Effect: De model grader krijgt expliciete richtlijnen om de oplossing te beoordelen, wat leidt tot een gedetailleerdere en betere redeneringssectie.

Takeaways

• Verbeter de model grader door het model expliciete context te geven over wat een goede oplossing inhoudt.
• Pas de dataset-generatie prompt aan om specifieke 'solution criteria' per testcase te genereren.
• Voeg de gegenereerde 'solution criteria' toe aan de grader prompt.
• Plaats de criteria direct na de te evalueren oplossing om gedetailleerdere redeneringen te garanderen.