A typical eval workflow

Prompt Evaluatie Workflow: Kernconcepten

• Flexibiliteit: Er is geen vaste, universele methode voor prompt-eval workflows; veel open-source en betaalde tools zijn beschikbaar.
• Doel: Een eigen, aangepaste workflow (custom workflow) van nul bouwen om het proces te begrijpen.

De Stappen van een Typische Prompt Evaluatie:

• Initiële Prompt Draft: Schrijf de basisprompt die verbeterd moet worden (bv. "Antwoord op de vraag van de gebruiker").
• Evaluatie Dataset Creëren: Maak een dataset met diverse mogelijke inputs (bv. een lijst met verschillende vragen).
• Uitvoering (Execution):
• Voer de prompt en elke input uit de dataset in het LLM (bv. Claude).
• Resultaat: Een lijst met gegenereerde antwoorden.
• Beoordeling (Grading):
• Koppel elke input/vraag aan het bijbehorende antwoord van het LLM.
• Voer dit paar in een grader (een beoordelingsmethode).
• Output: Een score (bv. 1 tot 10) die de kwaliteit van het antwoord aangeeft.
• Aggregatie: Bereken het gemiddelde van alle scores om een objectieve prestatie-indicator van de oorspronkelijke prompt te krijgen.

Iteratie en Verbetering:

• Iteratie: Gebruik de verkregen score om de prompt aan te passen (bv. door meer detail toe te voegen).
• Vergelijking: Voer de nieuwe promptversie door de gehele pipeline en vergelijk de scores van de verschillende versies (bv. Prompt V1 vs. Prompt V2) om de beste versie te bepalen.

Takeaways

• Er is geen vaste methode voor prompt-eval; het doel is om een aangepaste workflow van nul te bouwen.
• De evaluatie begint met het creëren van een diverse dataset van mogelijke inputs voor de initiële prompt.
• De workflow omvat de uitvoering van de prompt in het LLM, gevolgd door een beoordeling (grading) van de output.
• Scores worden geaggregeerd om een objectieve prestatie-indicator van de prompt te verkrijgen.
• De verkregen scores worden gebruikt om de prompt te itereren en verschillende versies te vergelijken.