Prompt engineering

📝 Notes de Cours : Ingénierie de Prompt

Définition et Objectif

• Ingénierie de Prompt (Prompt Engineering) : Processus d'amélioration d'un prompt initial pour obtenir des sorties plus fiables et de meilleure qualité.
• Objectif du Module : Écrire un prompt initial → Évaluer sa performance → Appliquer des techniques d'ingénierie de prompt → Réévaluer pour observer l'amélioration.

Cas d'Étude (Exemple)

• But du Prompt : Générer un plan de repas d'une journée pour un athlète.
• Entrées Requises : Taille, poids, objectif physique, restrictions alimentaires.
• Sortie Idéale : Un plan de repas détaillé incluant les aliments exacts, les portions et le moment des repas.

Outils et Méthodologie

• Pipeline d'Évaluation : Utilisation d'un pipeline flexible (via la classe PromptEvaluator) pour gérer la génération de données et le jugement du modèle.
• Concurrence : Le PromptEvaluator supporte la concurrence (plusieurs appels API simultanés) → Accélère le processus, mais nécessite une surveillance des limites de débit (rate limits).
• Génération de Données : Définir le but du prompt et les spécifications d'entrée (ex: taille en cm, poids en kg, objectif).
• Prompt Initial : La première version est souvent simple et naïve, ce qui conduit à un score d'évaluation très faible.
• Amélioration de l'Évaluation : Utiliser l'argument extra_criteria lors de l'évaluation pour définir des critères de jugement précis pour le modèle (ex: exiger un total calorique, une répartition des macronutriments, des portions exactes).
• Rapport : Les résultats de l'évaluation sont enregistrés dans un fichier output. html.

Takeaways

• L'Ingénierie de Prompt est le processus d'amélioration d'un prompt initial pour obtenir des sorties plus fiables et de meilleure qualité.
• Le cycle de travail est itératif : Écrire un prompt initial → Évaluer sa performance → Appliquer des techniques → Réévaluer.
• L'amélioration de la qualité passe par l'utilisation de critères de jugement précis (via extra_criteria) pour le modèle.
• Le PromptEvaluator gère la génération de données et supporte la concurrence pour accélérer le pipeline d'évaluation des prompts.