A typical eval workflow

Notes de Cours : Flux de Travail d'Évaluation de Prompt

• Nature du Workflow :
• Il n'existe pas de méthodologie unique et standardisée pour assembler un flux de travail d'évaluation de prompt.
• De nombreux outils (open source et payants) sont disponibles pour implémenter ces workflows.
• Il est possible de commencer petit pour comprendre le fonctionnement avant de passer à des solutions complexes.

• Étapes d'un Workflow Typique d'Évaluation de Prompt :

• Ébauche Initiale du Prompt :
• Rédiger le prompt de base (ex. : "Veuillez répondre à la question de l'utilisateur").
• Prévoir l'interpolation des entrées utilisateur.

• Création du Jeu de Données d'Évaluation :
• Constituer une liste de données d'entrée possibles (questions) pour le prompt.
• Ce jeu de données peut être assemblé manuellement ou généré par une IA.

• Exécution et Collecte des Réponses :
• Soumettre chaque entrée du jeu de données au prompt complet.
• Faire appel au modèle d'IA (ex. : Claude) pour obtenir une réponse pour chaque entrée.

• Notation (Grading) :
• Associer chaque question d'entrée à la réponse obtenue de l'IA.
• Soumettre cette paire (Question + Réponse) à un "Évaluateur" (Grader).
• L'Évaluateur attribue un score (ex. : de 1 à 10) basé sur la qualité de la réponse.

• Agrégation des Résultats :
• Calculer la moyenne de tous les scores individuels.
• Ceci fournit une mesure objective de la performance du prompt initial.

• Itération et Optimisation :
• Utiliser le score obtenu pour modifier le prompt (ex. : ajouter plus de détails pour guider l'IA).
• Répéter l'intégralité du pipeline d'évaluation avec le nouveau prompt.
• Comparer les scores des différentes versions de prompt (ex. : Prompt V1 vs. Prompt V2) pour déterminer la meilleure version.

Takeaways

• Le workflow d'évaluation de prompt n'est pas standardisé et permet une approche flexible, même en commençant par des solutions simples.
• Le cycle d'évaluation typique comprend la création d'un jeu de données, l'exécution du prompt, et la notation (grading) des paires Question + Réponse.
• L'agrégation des résultats permet de calculer une mesure objective de la performance du prompt initial.
• L'optimisation est un processus itératif : le score obtenu est utilisé pour modifier le prompt et répéter le pipeline d'évaluation.