Exercise on prompt evals

Studie-opmerkingen: Verbetering van de Modelgrader

• Doel: De modelgrader verbeteren door meer context te geven over wat een goede oplossing inhoudt.
• Methode: Dit proces vereist twee stappen.

Stap 1: Aanpassing van de Dataset-Generatie

• Actie: Wijzig de prompt die de dataset genereert.
• Instructie: Vraag de generator om in elke testcase specifieke 'solution criteria' (oplossingscriteria) op te nemen.
• Resultaat: Elke testcase bevat nu een sleutel (key) met de criteria voor een goede oplossing.

Stap 2: Aanpassing van de Grader-Prompt

• Actie: Wijzig de prompt van de modelgrader.
• Implementatie: Voeg de zojuist gegenereerde 'solution criteria' toe aan de grader-prompt.
• Plaatsing: Plaats de criteria direct na de oplossing die geëvalueerd moet worden.
• Effect: De modelgrader krijgt een duidelijker referentiekader om de kwaliteit van de oplossing te beoordelen, wat leidt tot een gedetailleerdere redeneringssectie.

Takeaways

• Het doel is de modelgrader verbeteren door meer context over wat een goede oplossing inhoudt te geven.
• De dataset-generator moet 'solution criteria' (oplossingscriteria) in elke testcase opnemen.
• Deze criteria moeten in de grader-prompt worden toegevoegd.
• Plaats de criteria direct na de oplossing die geëvalueerd moet worden.
• Dit biedt de grader een duidelijker referentiekader, wat leidt tot gedetailleerdere redeneringen.