A typical eval workflow

Kernconcepten: Prompt Evaluatie Workflow

• Workflow Flexibiliteit: Er is geen vaste, gestandaardiseerde methode voor prompt evaluatie; verschillende methodologieën kunnen worden gebruikt.
• Doel: Het opzetten van een eigen, aangepaste workflow (custom workflow) om de prestaties van een prompt te meten.
• Stap 1: Initial Prompt Draft: Het schrijven van de initiële prompt die verbeterd moet worden (bijv. "Please answer the user's question").
• Stap 2: Evaluation Dataset: Het creëren van een dataset met diverse mogelijke inputs (bijv. een lijst met vragen) die in de prompt worden ingevoerd.
• Uitvoering:
• Elke input uit de dataset wordt gecombineerd met de prompt.
• De volledige prompt wordt naar het LLM (bijv. Claude) gestuurd om een antwoord te genereren.
• Stap 3: Grading (Beoordeling):
• De oorspronkelijke vraag (uit de dataset) wordt gekoppeld aan het gegenereerde antwoord van het LLM.
• Dit paar wordt aan een 'grader' gevoed, die een score geeft op basis van de kwaliteit van het antwoord (bijv. een score van 1 tot 10).
• Stap 4: Aggregatie:
• Alle individuele scores worden verzameld en gemiddeld.
• Dit resulteert in een objectieve maat voor de prestaties van de oorspronkelijke prompt.
• Iteratie en Verfijning:
• De score wordt gebruikt om de prompt aan te passen (bijv. door meer detail toe te voegen).
• Het hele proces wordt herhaald om de prestaties van de nieuwe promptversie te vergelijken met de vorige versie.

Takeaways

• Prompt evaluatie is flexibel en vereist het opzetten van een aangepaste workflow om prestaties te meten.
• De workflow begint met een initiële prompt en het creëren van een diverse evaluatie dataset (input).
• De prompt wordt uitgevoerd door het LLM, en de gegenereerde antwoorden worden beoordeeld (graded) door een grader op basis van kwaliteit.
• Alle individuele scores worden geaggregeerd om een objectieve maat voor de prestaties van de prompt te verkrijgen.
• Het proces is iteratief: de score wordt gebruikt om de prompt te verfijnen en de evaluatie te herhalen.