Exercise on prompt evals

Studie-opmerkingen: Verbetering van Model Grading

• Doel: Het verbeteren van de modelgrader door het verstrekken van meer context over wat een goede oplossing inhoudt.
• Methode: Dit proces vereist twee stappen.

Stap 1: Data Generatie Aanpassen

• Pas de prompt aan die de dataset genereert.
• Vraag in deze prompt om 'solution criteria' (oplossingscriteria) voor elke testcase.
• Resultaat: De testcases bevatten nu een specifieke sleutel (solution criteria) die beschrijft wat een goede oplossing moet bevatten (bijv. "Een goede oplossing moet kenmerk X, Y en Z bevatten").

Stap 2: Model Grader Prompt Aanpassen

• Pas de prompt van de modelgrader (grade by model) aan.
• Voeg de zojuist gegenereerde 'solution criteria' toe aan de instructies van de grader.
• Functie: Dit geeft de modelgrader een duidelijker kader om de ingediende oplossing te evalueren.
• Voordeel: Het resultaat is een meer uitgewerkte (fleshed out) redeneringssectie van de modelgrader.

Takeaways

• Het doel is het verbeteren van de modelgrader door meer context te geven over wat een goede oplossing inhoudt.
• Stap 1: De dataset-generatie prompt wordt aangepast om voor elke testcase 'solution criteria' (oplossingscriteria) te genereren.
• Stap 2: De modelgrader prompt wordt aangepast door de zojuist gegenereerde 'solution criteria' toe te voegen aan de instructies.
• Dit proces biedt de modelgrader een duidelijker kader voor evaluatie, wat leidt tot een meer uitgewerkte redeneringssectie.