Model based grading

📝 Studieopmerkingen: Beoordelingssystemen (Grading Systems)

Algemeen Concept

• Een Grader neemt de output van een model en geeft een objectief signaal terug.
• Dit signaal kan een getal (bijv. 1 tot 10, waarbij 10 de hoogste kwaliteit is) of een binaire waarde (waar/onwaar) zijn.

Drie Types Graders

• Code-based Grader:
• Voedt de modeloutput in een eigen stuk code.
• Maakt programma-checks mogelijk (bijv. lengte, aanwezigheid van specifieke woorden, syntaxisvalidatie van JSON/code).
• Vereist dat de code een bruikbaar signaal retourneert.
• Model-based Grader:
• Voedt de output van het oorspronkelijke model in een extra model (een tweede API-aanroep).
• Biedt veel flexibiliteit (evaluatie op algemene kwaliteit, instructie-opvolging, volledigheid).
• Vereist dat het model een objectief signaal geeft (meestal 1 tot 10).
• Human-based Grading:
• Een mens evalueert de modeloutput.
• Zeer flexibel wat betreft de evaluatiemethode, maar zeer tijdrovend en omslachtig.

Evaluatiecriteria en Toepassing

• Het is cruciaal om vooraf de evaluatiecriteria vast te stellen (bijv. format, syntaxis, taakvolging).
• Code Grader is geschikt voor:
• Formatcontrole (bijv. alleen Python, JSON, of Regex).
• Syntaxisvalidatie.
• Model Grader is geschikt voor:
• Algemene taakvolging en inhoudelijke nauwkeurigheid (vanwege flexibiliteit).

Implementatie van de Model Grader

• Prompt-ontwerp: De grader vereist een gedetailleerde prompt die een rol toewijst, de taak en de gegenereerde oplossing beschrijft.
• Kwaliteit van Score: Vraag het model om niet alleen een score te geven, maar ook redenering, sterktes en zwaktes. Dit leidt tot concretere en betere scores.
• Proces: De output van de grader wordt vaak in JSON-formaat geleverd en moet geparseerd worden.

Eindmeting

• Nadat scores van meerdere runs zijn verzameld, wordt het gemiddelde (mean) berekend.
• Dit gemiddelde biedt een objectieve metriek voor de huidige prestaties van de prompt.

Takeaways

• Een Grader geeft een objectief signaal (getal of binaire waarde) terug over de kwaliteit van de modeloutput.
• Code-based Graders zijn geschikt voor formatcontrole en syntaxisvalidatie, terwijl Model-based Graders flexibeler zijn voor taakvolging en inhoudelijke nauwkeurigheid.
• Voor Model Graders is een gedetailleerde prompt cruciaal; het vragen om redenering, sterktes en zwaktes leidt tot betere scores.
• De uiteindelijke prestatie van de prompt wordt gemeten door het gemiddelde (mean) van scores over meerdere runs te berekenen.