Extended thinking

Notes d'étude : Pensée Étendue (Extended Thinking) de Claude

• Définition et Fonction :
• La Pensée Étendue permet à Claude de raisonner sur une requête avant de générer une réponse finale.
• Elle est affichée comme un processus de réflexion séparé dans l'interface utilisateur.
• Objectif : Permettre à Claude de traiter des tâches plus complexes avec une plus grande précision.

• Compromis (Trade-offs) :
• Coût : Les jetons (tokens) générés pendant la phase de réflexion sont facturés.
• Latence : Le temps de complétion de la phase de réflexion augmente le temps de réponse global.

• Quand l'utiliser (Critère de Décision) :
• La décision repose sur les évaluations de prompt (prompt evals).
• Il faut l'activer lorsque la précision du prompt n'atteint pas le niveau souhaité, malgré les efforts d'amélioration.

• Structure de la Réponse Modifiée :
• Lors de l'activation, la réponse de l'assistant contient un nouveau type de partie : la partie de contenu de raisonnement (reasoning content part).
• Cette partie contient le texte généré pendant la phase de réflexion.

• Éléments Clés de la Partie de Raisonnement :
• Signature : Un jeton cryptographique. Il garantit que le texte de raisonnement n'a pas été modifié. Cela empêche les utilisateurs de détourner Claude vers des directions non sûres.
• Contenu Redacté (Redacted Content) : Si le texte de réflexion est signalé par un système de sécurité interne, il est retourné sous forme de contenu redigé (version chiffrée). Ce contenu permet de maintenir la continuité de la conversation.

• Mise en Œuvre Technique :
• Arguments Clés :
• thinking (booléen) : Active ou désactive la pensée étendue.
• thinking_budget (nombre de jetons) : Définit le nombre maximal de jetons que Claude peut utiliser pour sa réflexion.
• Implémentation : L'activation nécessite d'ajouter une propriété spécifique (thinking) au dictionnaire des champs de requête du modèle (additional model request fields).
• Test du Contenu Redacté : On peut forcer la réception d'un contenu redigé en incluant une "chaîne magique" spécifique dans le message utilisateur.

• Conclusion Principale :
• L'utilisation de la Pensée Étendue doit être guidée par les résultats des évaluations de prompt (evaluations) pour déterminer son adéquation à un cas d'usage donné.

Takeaways

• La Pensée Étendue permet à Claude de raisonner sur une requête dans une phase séparée avant de générer la réponse finale.
• Son activation doit être guidée par les évaluations de prompt (prompt evals) pour s'assurer que la précision est améliorée.
• Elle implique des compromis (trade-offs) : un coût accru en jetons et une augmentation du temps de réponse (latence).
• Techniquement, elle est contrôlée par les arguments thinking (booléen) et thinking_budget (nombre de jetons) et inclut une signature cryptographique pour garantir l'intégrité du raisonnement.