Prompt evaluation

Notes d'étude : Ingénierie et Évaluation de Prompt

• Ingénierie de Prompt (Prompt Engineering)
• Définit un ensemble de techniques utilisées lors de la rédaction ou de la modification d'un prompt.
• Objectif : Aider l'IA (Claude) à comprendre la requête et le format de réponse souhaité.

• Évaluation de Prompt (Prompt Evaluation)
• Processus de test automatisé d'un prompt.
• Objectif : Obtenir une métrique objective pour déterminer l'efficacité du prompt.

• Processus de Rédaction et d'Amélioration d'un Prompt
• Pièges à éviter :
• Tester le prompt une ou deux fois avant de le mettre en production.
• Tester avec des entrées personnalisées et ajuster uniquement pour quelques cas particuliers.
• Méthode recommandée (Option 3) :
• Faire passer le prompt par un pipeline d'évaluation.
• Obtenir un score objectif de performance.
• Itérer sur le prompt pour maximiser sa performance.

Takeaways

• L'Ingénierie de Prompt consiste à définir des techniques pour aider l'IA à comprendre la requête et le format de réponse attendus.
• L'Évaluation de Prompt est un processus de test automatisé dont l'objectif est d'obtenir une métrique objective de l'efficacité du prompt.
• Il est crucial d'éviter de tester un prompt de manière isolée ou uniquement avec des cas particuliers avant sa mise en production.
• La méthode recommandée est d'utiliser un pipeline d'évaluation pour obtenir un score objectif et itérer sur le prompt afin de maximiser sa performance.