Running the eval

Notes de Cours : Pipeline d'Évaluation (Eval Pipeline)

• Objectif du Pipeline : Tester un jeu de données complet en utilisant un modèle (Claude) et en notant les résultats.
• Flux de Travail Général :
• Prendre un cas de test (record du jeu de données).
• Fusionner le cas de test avec le prompt.
• Soumettre l'entrée fusionnée à Claude.
• Passage du résultat à un système de notation (Grader).
• Fonctions Clés du Pipeline :
• run_prompt(test_case) :
• Fusionne le cas de test avec le prompt défini.
• Envoie la requête à Claude.
• Retourne le texte brut généré par Claude.
• run_test_case(test_case) :
• Appelle run_prompt pour obtenir une réponse.
• Effectue l'évaluation/notation du résultat (actuellement codé en dur).
• Retourne un dictionnaire de résumé incluant : le cas de test, le résultat de Claude et le score.
• run_eval(dataset) :
• Charge le jeu de données complet.
• Boucle sur chaque cas de test du jeu de données.
• Appelle run_test_case pour chaque cas.
• Assemble et retourne l'ensemble des résultats.
• Points à Améliorer (Prochaines Étapes) :
• Prompt : Le prompt actuel est très simple et ne contient pas d'instructions de formatage (ex. : demander du JSON ou du Python).
• Grading : Le processus de notation est encore manuel (codé en dur) et doit être remplacé par un système de notation automatisé.

Takeaways

• L'objectif du Pipeline d'Évaluation est de tester un jeu de données complet en utilisant un modèle (Claude) et en notant les résultats.
• Le flux de travail général consiste à fusionner un cas de test avec le prompt, soumettre l'entrée fusionnée à Claude, puis passer le résultat au système de notation (Grader).
• La fonction run_test_case est l'unité de travail principale : elle appelle run_prompt pour obtenir la réponse et effectue ensuite l'évaluation du résultat.
• Les améliorations futures nécessitent d'ajouter des instructions de formatage au prompt et de remplacer le processus de notation codé en dur par un système automatisé.