Model based grading

📝 Studieopmerkingen: Graderingssystemen in Prompt Evaluatie

Doel: Het implementeren van een graderingssysteem binnen de prompt-evaluatieworkflow om een objectief signaal te genereren over de kwaliteit van modeloutput.

Kernconcept:

• Een grader neemt de output van het model en geeft een objectief signaal (bijv. een getal of waar/onwaar).
• Meest voorkomende praktijk: een score tussen 1 en 10 (10 = hoge kwaliteit, 1 = lage kwaliteit).

Drie Types Graders:

• Code-based Grader (Code-gebaseerde Grader):
• De modeloutput wordt gevoed aan een eigen stuk code.
• Mogelijke controles:
• Lengte van de output (te lang/te kort).
• Aanwezigheid/afwezigheid van specifieke woorden.
• Syntaxisvalidatie (bijv. voor JSON of code).
• Leesbaarheidsscore.
• Vereiste: De code moet een bruikbaar signaal retourneren.

• Model-based Grader (Model-gebaseerde Grader):
• De modeloutput wordt als input gebruikt voor een tweede model (een extra API-aanroep).
• Flexibiliteit: Het model kan beoordelen op algemene kwaliteit, instructie-opvolging of volledigheid.
• Vereiste: Het model moet een objectief signaal retourneren (meestal 1-10).

• Human-based Grading (Menselijke Beoordeling):
• Een mens evalueert de modeloutput.
• Flexibiliteit: Kan worden gebruikt voor vrijwel elke metric.
• Nadeel: Zeer tijdrovend en arbeidsintensief.

Evaluatiecriteria (Voorbeeld):

• Formaat: Alleen Python, JSON of reguliere expressie (regex) retourneren, zonder extra uitleg.
• Syntaxis: De code moet syntactisch correct zijn (geen typefouten).
• Taakvolging: Het model moet de gebruikersvraag duidelijk en accuraat hebben beantwoord.

Implementatie (Model Grader):

• Prompt Ontwerp: Het is cruciaal om een gedetailleerde prompt te gebruiken die de rol, de taak en de oplossing definieert.
• Kwaliteit van Score: Vraag het model om niet alleen een score, maar ook om redenering, sterktes en zwaktes te geven. Dit leidt tot concretere en betere scores.
• Proces: Roep het graderingsmodel aan → Parse de JSON-output → Extraheer de score en de bijbehorende redenen.

Eindresultaat:

• Na het uitvoeren van de grader op alle testcases, bereken de gemiddelde score om een uiteindelijke, objectieve prestatie-metriek te verkrijgen.

Takeaways

• Een grader genereert een objectief signaal (bijv. een score van 1 tot 10) over de kwaliteit van de modeloutput.
• Er zijn drie types graders: Code-based (controleert syntaxis/lengte), Model-based (gebruikt een tweede model) en Human-based (menselijke beoordeling).
• Bij Model-based grading is een gedetailleerde prompt cruciaal; vraag het model om niet alleen een score, maar ook om redenering, sterktes en zwaktes.
• Het uiteindelijke objectieve prestatie-metriek wordt berekend door de gemiddelde score van alle testcases.