Controlling model output

Notes d'étude : Influencer la sortie des LLM (Claude)

Pour influencer fortement la réponse d'un modèle comme Claude, en plus de la modification du prompt, deux techniques principales peuvent être utilisées :

**1. Pré-remplissage des messages assistant (Pre-filling Assistant Messages)**

• Objectif : Diriger ou orienter fortement la réponse du modèle.
• Méthode : Ajouter manuellement un message de type "assistant" à la liste des messages envoyés.
• Principe : Claude considère ce contenu pré-rempli comme étant déjà écrit et continue sa réponse à partir de la fin de ce texte.
• Résultat : Le modèle est fortement orienté vers le contenu fourni (ex. : "Le café est meilleur car... ").
• Attention : La réponse générée est souvent partielle. L'utilisateur doit assembler le texte pré-rempli et la suite générée.

**2. Séquences d'arrêt (Stop Sequences)**

• Objectif : Forcer le modèle à arrêter la génération de texte dès qu'une chaîne spécifique est produite.
• Méthode : Fournir une liste de chaînes (séquences) comme paramètre supplémentaire (ex. : stop_sequences).
• Principe : Dès que Claude génère l'une des séquences spécifiées, la réponse est immédiatement tronquée et envoyée.
• Application : Permet de limiter la longueur de la réponse ou de l'arrêter à un point précis (ex. : arrêter après le nombre "5").
• Note : Les séquences peuvent être des mots complets ou des caractères individuels.

Takeaways

• Pré-remplissage des messages assistant : Ajouter un message de type "assistant" manuellement pour orienter fortement la réponse du modèle.
• Principe du pré-remplissage : Claude continue sa réponse à partir du texte pré-rempli, mais la sortie générée est souvent partielle.
• Séquences d'arrêt : Fournir une liste de chaînes spécifiques pour forcer le modèle à s'arrêter dès qu'une séquence est produite.
• Application des séquences d'arrêt : Permet de limiter la longueur de la réponse ou de l'arrêter à un point précis.