Running the eval

Studie-opmerkingen: Evaluatie Pipeline

Algemene Workflow

• Elk record in de dataset wordt een 'test case'.
• De workflow is: Test Case → Merge met Prompt → Voer in Claude → Ontvang Output → Voer door Grader.
• Het doel is om de output van het LLM (Claude) te beoordelen.

De Drie Hoofdfuncties

• run_prompt(test_case)
• Doel: Combineert de taak (uit de test case) met de prompt.
• Proces: Roep Claude aan (via chat) met de gecombineerde prompt.
• Output: De ruwe tekstuele output van Claude.
• Opmerking: De initiële prompt is eenvoudig en bevat nog geen instructies voor specifieke format (zoals JSON of Python).

• run_test_case(test_case)
• Doel: Verwerkt één individuele test case.
• Proces:
• Roep run_prompt aan met de test case.
• Voer de ontvangen output door de grader (momenteel een hardcoded score van 10).
• Retourneer een samenvattende dictionary.
• Output: Een dictionary die de output van Claude, de test case en de score bevat.

• run_eval(dataset)
• Doel: Voert de volledige evaluatie uit op de gehele dataset.
• Proces:
• Laad de dataset.
• Loop door elke test case in de dataset.
• Roep run_test_case aan voor elke test case.
• Verzamel alle resultaten.
• Output: Een lijst (array) van objecten, waarbij elk object de resultaten van één test case vertegenwoordigt.

Belangrijke Concepten

• Pipeline: De combinatie van deze functies vormt de volledige evaluatie-pipeline.
• Grader: Dit is de cruciale, nog te implementeren stap die de output van Claude beoordeelt.
• Resultaten: De uiteindelijke output is een grote JSON-structuur die alle input, output en scores bevat.

Takeaways

• De evaluatie-pipeline bestaat uit de workflow: Test Case → Merge met Prompt → Claude → Output → Grader.
• run_prompt combineert de taak van een test case met de prompt en roept Claude aan om de ruwe output te genereren.
• run_test_case verwerkt één individuele test case door de output van run_prompt door de Grader te voeren.
• run_eval is de hoofdfunctie die de gehele dataset verwerkt door run_test_case voor elke test case aan te roepen.
• De Grader is het cruciale, nog te implementeren onderdeel dat de kwaliteit van de LLM-output beoordeelt.