Prompt engineering

📝 Notes d'étude : Ingénierie de Prompt

Définition et Objectif

• Ingénierie de Prompt (Prompt Engineering) : Processus d'amélioration d'un prompt initial pour obtenir des sorties plus fiables et de plus haute qualité.
• Objectif du Prompt (Exemple) : Générer un plan de repas journalier pour un athlète, basé sur ses données (taille, poids, objectif, restrictions alimentaires).

Processus d'Amélioration

• Cycle de travail : Écrire un prompt initial → Évaluer le prompt (score faible) → Appliquer des techniques d'ingénierie de prompt → Réévaluer (amélioration des performances).

Outils et Configuration

• Prompt Evaluator : Classe qui encapsule la génération de jeux de données et la notation par le modèle.
• Concurrence : Le système supporte plusieurs appels API simultanés pour accélérer l'évaluation (Attention : risque de limites de taux/rate limits).
• Génération de Jeu de Données : Nécessite de définir le but du prompt et ses spécifications d'entrée (ex: taille en cm, poids en kg, objectif, restrictions).

Évaluation du Prompt

• Prompt Initial : La première version est souvent simple et de mauvaise qualité.
• Critères Supplémentaires (Extra Criteria) : Une chaîne de caractères fournie au modèle pendant la notation pour imposer des exigences spécifiques à la sortie (ex: inclure un total calorique quotidien, une répartition des macronutriments, des portions exactes).
• Rapport de Sortie : L'évaluation génère un fichier output. html qui fournit un rapport détaillé pour chaque cas de test (score, raisonnement, critères de solution).

Takeaways

• L'ingénierie de prompt est le processus d'amélioration d'un prompt initial pour obtenir des sorties fiables et de haute qualité.
• Le processus d'amélioration est un cycle itératif : écrire un prompt initial → évaluer → appliquer des techniques → réévaluer.
• Il est nécessaire de définir clairement le but du prompt et ses spécifications d'entrée (ex: taille en cm, poids en kg).
• Les critères supplémentaires (Extra Criteria) sont utilisés pour imposer des exigences spécifiques à la sortie lors de la notation (ex: inclure un total calorique).