A typical eval workflow

Studie-opmerkingen: Prompt Evaluatie Workflow

• Flexibiliteit: Er is geen vaste, universele methode voor prompt evaluatie; de workflow kan op verschillende manieren worden opgebouwd.
• Doel: Het implementeren van een eigen, aangepaste (custom) workflow is mogelijk, zelfs zonder zware, commerciële oplossingen.

De Stappen van een Typische Prompt Evaluatie:

• Initial Prompt Draft (Eerste Versie):
• Schrijf de basis van de prompt die je wilt verbeteren (bijv. "Antwoord op de vraag van de gebruiker").
• Evaluation Dataset Creëren:
• Maak een dataset aan met verschillende mogelijke inputs (vragen) die in de prompt kunnen worden geplaatst.
• Opmerking: In de praktijk kan deze dataset honderden of duizenden records bevatten.
• Uitvoering (Generatie):
• Voer de prompt samen met elke input uit de dataset in het LLM (bijv. Claude).
• Resultaat: Een lijst met antwoorden van het LLM.
• Grading (Beoordeling):
• Koppel elke input/vraag aan het gegenereerde antwoord.
• Stuur dit paar naar een grader (vaak een ander LLM).
• De grader geeft een score (bijv. 1 tot 10) op basis van de kwaliteit van het antwoord.
• Aggregatie (Samenvatten):
• Bereken het gemiddelde van alle scores om een objectieve prestatie van de oorspronkelijke prompt te krijgen.

Iteratie en Verbetering:

• Iteratie: Gebruik de verkregen score om de prompt aan te passen (bijv. door meer detail toe te voegen).
• Vergelijking: Voer de nieuwe promptversie door de gehele pipeline. Vergelijk de scores van de verschillende versies (bijv. Prompt V1 vs. Prompt V2) om de effectiviteit te bepalen.

Takeaways

• Prompt evaluatie is flexibel en vereist geen vaste, universele methode; custom workflows zijn mogelijk.
• De typische workflow omvat vijf stappen: Initial Prompt Draft, creëren van een Evaluation Dataset, Generatie (uitvoeren in het LLM), Grading, en Aggregatie.
• De beoordeling (Grading) wordt uitgevoerd door een aparte 'grader' (vaak een ander LLM) die een score geeft op basis van de kwaliteit van het antwoord.
• Verbetering gebeurt via iteratie: pas de prompt aan op basis van de verkregen scores en vergelijk de prestaties van verschillende promptversies.