Exercise on prompting

Notes d'étude : Ingénierie de Prompt (Prompt Engineering)

• Objectif de l'exercice : Améliorer un prompt existant pour qu'il extraie des sujets (topics) d'un passage de texte académique.
• Format de sortie requis : Un tableau JSON (JSON array of strings) contenant tous les sujets identifiés.
• Analyse de l'échec initial : Les prompts initiaux étaient trop vagues, ce qui entraînait un faible score lors de l'évaluation.
• Techniques d'amélioration du prompt :

• Simplicité et Directivité :
• Rédiger l'instruction de manière simple et directe.
• Exemple : Demander explicitement d'extraire les sujets "dans un tableau JSON de chaînes de caractères".
• Résultat : Amélioration immédiate et significative du score.
• Structuration avec des Balises XML :
• Encadrer le contenu (le texte à analyser) avec des balises spécifiques (ex. : <text>... </text>).
• Avantage : Crée une connexion plus claire entre l'instruction et les données fournies au modèle.
• Instructions Étape par Étape (Step-by-Step) :
• Définir un processus clair pour le modèle.
• Exemple de processus : 1. Examiner attentivement le texte. 2. Identifier chaque sujet. 3. Ajouter chaque sujet à un tableau JSON. 4. Répondre uniquement avec le tableau JSON.
• Techniques Avancées (Optionnelles) :
• Utilisation du One-shot ou Multi-shot prompting (fournir des exemples).
• Évaluation du Prompt :
• Utiliser le fichier output. html généré par l'évaluation pour comprendre les raisons précises d'un score faible.

Takeaways

• Éviter la vagueness : Les prompts doivent être simples et directs, spécifiant explicitement le format de sortie désiré (ex. un tableau JSON).
• Structurer l'entrée : Encadrer le contenu à analyser avec des balises XML (ex. <text>... </text>) pour clarifier la distinction entre instruction et données.
• Définir un processus : Utiliser des instructions étape par étape pour guider le modèle à travers une tâche complexe.
• Amélioration avancée : Augmenter la performance en utilisant le One-shot ou Multi-shot prompting (fournir des exemples).