Model based grading — Claude With Amazon Bedrock

🎯 Graderingssysteem (Graders)

Definitie: Een grader neemt de output van een model en geeft een objectief signaal terug.
Signaal: Dit kan een getal (bijv. 1 tot 10, waarbij 10 = hoge kwaliteit) of een boolean (waar/onwaar) zijn.
Doel: Het kwantificeren van de kwaliteit van de gegenereerde respons.

Code-based Grader:
Werking: De modeloutput wordt gevoed aan een eigen stuk code (snippet).
Toepassing: Programmatische controles (bijv. lengte, aanwezigheid van specifieke woorden, syntaxisvalidatie van JSON/code, leesbaarheidsscore).
Vereiste: Moet een bruikbaar signaal retourneren.
Model-based Grader:
Werking: De modeloutput wordt als input gebruikt voor een tweede model (een extra API-aanroep).
Flexibiliteit: Kan evalueren op algemene kwaliteit, instructie-opvolging, volledigheid, etc.
Vereiste: Moet een objectief signaal retourneren (vaak 1 tot 10).
Human-based Grading:
Werking: Een mens evalueert de modeloutput.
Voordeel: Zeer flexibel voor elke metric.
Nadeel: Zeer tijdrovend en arbeidsintensief.

Belang: Voordat er geëvalueerd wordt, moeten de criteria vooraf duidelijk worden gedefinieerd.
Voorbeelden van Criteria:
Formaat: Is de output strikt Python, JSON of reguliere expressie, zonder extra uitleg?
Validiteit: Heeft de output een geldige syntaxis (geen spelfouten)?
Taakvolging: Beantwoordt het model de gebruikersvraag duidelijk en bevat de code geen grote logische fouten?

Code Grader: Ideaal voor formele checks (Formaat en Validiteit).
Model Grader: Ideaal voor subjectieve/algemene checks (Taakvolging en algemene kwaliteit) vanwege de flexibiliteit.

Prompt Structuur: Een effectieve prompt voor de grader moet een rol, de taak, de gegenereerde oplossing en duidelijke instructies bevatten.
Kwaliteit van Score: Vraag het model niet alleen om een score, maar ook om sterktes, zwaktes en onderbouwing. Dit dwingt het model tot een concretere en minder gemiddelde score.
Workflow: De uiteindelijke stap is het berekenen van een gemiddelde score over alle testgevallen om een objectieve prestatemetric voor de prompt te verkrijgen.

Graders kwantificeren de kwaliteit van modeloutput door een objectief signaal (getal of boolean) te geven.
Er zijn drie types Graders: Code-based (voor formele checks), Model-based (voor algemene kwaliteit) en Human-based (zeer flexibel, maar arbeidsintensief).
Evaluatiecriteria (zoals Formaat, Validiteit en Taakvolging) moeten vooraf duidelijk gedefinieerd worden om de output te beoordelen.
Bij Model Graders is het effectief om de prompt een rol en taak te geven en om sterktes, zwaktes en onderbouwing te vragen voor een concretere score.