Prompt engineering

Notes de Cours : Ingénierie de Prompt

• Définition de l'Ingénierie de Prompt (Prompt Engineering) :
• Processus visant à améliorer un prompt initial pour obtenir des sorties plus fiables et de plus haute qualité.
• Méthodologie : Prompt initial → Évaluation → Amélioration progressive par techniques spécifiques.

• Objectif du Prompt (Cas d'étude) :
• Générer un plan de repas d'une journée pour un athlète.
• Le prompt doit intégrer des données d'entrée (inputs) : Hauteur, Poids, Objectif physique, Restrictions alimentaires.

• Pipeline d'Évaluation (Evaluation Pipeline) :
• Utilisation d'un pipeline d'évaluation flexible (via la classe PromptEvaluator).
• PromptEvaluator : Une classe qui encapsule la génération de jeux de données et la notation par le modèle.
• Concurrence : Le système supporte le traitement de plusieurs tâches API simultanément pour accélérer l'évaluation.
• Attention : Risque de limites de débit (rate limits) ; il est conseillé de réduire le nombre de tâches concurrentes si des erreurs surviennent.

• Génération de Données (Dataset Generation) :
• Nécessite de définir le but global du prompt et de spécifier les propriétés d'entrée (Input Spec).
• Exemples de propriétés : Hauteur (en CM), Poids (en kg), Objectif, Restrictions.

• Évaluation Initiale :
• Un prompt initial, simple et naïf (ex: "Que devrait manger cette personne ? "), conduit généralement à un score d'évaluation très faible.
• **Critères de Notation (`extra

Takeaways

• L'Ingénierie de Prompt est un processus d'amélioration progressive d'un prompt initial pour obtenir des sorties fiables et de haute qualité.
• Les prompts efficaces nécessitent l'intégration de données d'entrée spécifiques (Hauteur, Poids, Objectif, Restrictions) pour définir le but.
• Le PromptEvaluator est une classe clé qui encapsule la génération de jeux de données et la notation par le modèle.
• Le système supporte le traitement concurrentiel des tâches API pour accélérer l'évaluation, mais il faut gérer le risque de limites de débit.