Prompt evaluation

Notes de Cours : Ingénierie et Évaluation des Prompts

Concepts Clés

• Ingénierie de Prompt (Prompt Engineering) :
• Ensemble de techniques utilisées lors de la rédaction ou de la modification d'un prompt.
• Objectif : Aider l'IA (Claude) à comprendre la requête et le format de réponse désiré.

• Évaluation de Prompt (Prompt Evaluation) :
• Processus de test automatisé d'un prompt.
• Objectif : Obtenir une métrique objective pour déterminer l'efficacité du prompt.

Processus de Rédaction de Prompts (Les 3 Options)

Après avoir rédigé un prompt, il existe trois approches possibles :

• Test minimal : Tester le prompt une ou deux fois, puis l'utiliser en production.
• Statut : Déconseillé (Piège courant).
• Ajustements manuels : Tester avec des entrées personnalisées et modifier le prompt pour gérer les cas limites.
• Statut : Déconseillé (Piège courant).
• Pipeline d'Évaluation (Recommandé) :
• Faire passer le prompt par un pipeline d'évaluation.
• Résultat : Obtenir un score objectif de performance.
• Action : Itérer sur le prompt pour maximiser sa performance.

Takeaways

• L'Ingénierie de Prompt est l'ensemble des techniques utilisées pour aider l'IA à comprendre la requête et le format de réponse désiré.
• L'Évaluation de Prompt est un processus de test automatisé visant à obtenir une métrique objective de l'efficacité d'un prompt.
• Le pipeline d'évaluation est la méthode recommandée pour obtenir un score objectif de performance et itérer sur le prompt.
• Les tests minimalistes ou les ajustements manuels sont déconseillés car ils constituent des pièges courants.