A typical eval workflow

Notes de Cours : Workflow d'Évaluation de Prompts

• Nature du Workflow :
• Il n'existe pas de méthodologie standard unique pour les workflows d'évaluation de prompts.
• De nombreux outils (open source ou payants) existent pour implémenter ces workflows.
• Il est possible de commencer petit pour comprendre le fonctionnement avant de passer à des solutions complexes.

• Étapes d'un Workflow Typique d'Évaluation :
• Ébauche du Prompt Initial : Rédiger la version de base du prompt à améliorer.
• Création de l'Ensemble de Données d'Évaluation : Définir une liste d'entrées (inputs) variées (ex: une liste de questions) pour tester le prompt.
• Exécution (Génération) : Soumettre le prompt + chaque entrée de l'ensemble de données à l'IA (ex: Claude) pour obtenir une réponse.
• Notation (Grading) :
• Paire chaque question d'entrée avec la réponse générée par l'IA.
• Soumettre cette paire à un "grader" (un évaluateur, souvent une autre IA) qui attribue un score (ex: de 1 à 10) basé sur la qualité de la réponse.
• Agrégation : Calculer la moyenne de tous les scores obtenus pour obtenir une mesure objective de la performance du prompt initial.
• Itération et Raffinement :
• Modifier le prompt (ex: ajouter des instructions plus détaillées).
• Répéter l'intégralité du processus avec la nouvelle version du prompt.
• Comparer les scores des différentes versions pour déterminer laquelle est la meilleure.

Takeaways

• Le workflow d'évaluation des prompts est itératif : il faut modifier le prompt et répéter le processus.
• Il est nécessaire de créer un ensemble de données d'évaluation variées pour tester le prompt.
• La notation (grading) est réalisée par un évaluateur (souvent une autre IA) qui attribue un score à la réponse.
• La performance du prompt est mesurée objectivement par l'agrégation (calcul de la moyenne) de tous les scores.