Extended thinking

Notes d'étude : Pensée Étendue (Extended Thinking) de Claude

Définition et Objectif

• Pensée Étendue (Extended Thinking) : Fonction avancée permettant à Claude de raisonner sur la requête de l'utilisateur avant de générer une réponse finale.
• Objectif : Permettre à Claude de traiter des tâches plus complexes avec une plus grande précision.

Avantages et Compromis (Trade-offs)

• Avantages : Améliore la capacité de Claude à gérer des tâches complexes.
• Coût : Les tokens générés pendant la phase de réflexion sont facturés.
• Latence : Le processus prend plus de temps à s'achever.

Quand l'activer ?

• Il est recommandé d'activer la Pensée Étendue lorsque les évaluations de prompts (prompt evals) montrent que la précision n'est pas satisfaisante malgré les efforts d'amélioration du prompt.

Mécanisme de Réponse

• Bloc de Pensée (Thinking Block) : Lorsque la Pensée Étendue est activée, la réponse de l'assistant contient un nouveau type de bloc : le bloc de pensée.
• Contenu : Ce bloc contient le texte généré par Claude pendant sa phase de réflexion.
• Signature : Chaque bloc de pensée inclut une signature (jeton cryptographique).
• Fonction : Assure que le texte de pensée n'a pas été modifié.
• Importance : Empêche les modifications qui pourraient orienter Claude vers des directions non sûres.
• Contenu Redacté (Redacted Content) : Dans certains cas, le bloc de pensée peut contenir un contenu masqué (redacted) sans texte de réflexion.
• Cause : Le texte de réflexion initial a été signalé par un système de sécurité interne.
• Utilité : Ce contenu masqué est fourni pour permettre de renvoyer le message complet à Claude sans perdre le contexte de sa pensée précédente.

Implémentation Technique (Code)

• Arguments Clés :
• thinking : Booléen (pour activer/désactiver la fonction).
• thinking_budget : Nombre de tokens alloués à la phase de réflexion.
• Contraintes du Budget :
• Le thinking_budget minimum est de 1024 tokens.
• Le max_tokens doit être strictement supérieur au thinking_budget.
• Structure des Paramètres : Si thinking est activé, un nouveau paramètre imbriqué thinking est ajouté au dictionnaire de paramètres, spécifiant le type (enabled) et le budget (tokens).

Tests et Robustesse

• Test de Redaction : Il est possible de forcer Claude à renvoyer un bloc de pensée masqué en envoyant une chaîne de caractères spécialement formatée (ex: "entropic magic string triggered redacted thinking").
• Développement : Il est crucial de s'assurer que le code de l'application gère correctement les blocs de pensée masqués pour éviter les erreurs lors de la réception de réponses inattendues.

Takeaways

• La Pensée Étendue est une fonction permettant à Claude de raisonner avant de répondre, améliorant la gestion des tâches complexes, mais entraînant une augmentation du coût (tokens) et de la latence.
• Elle introduit un Bloc de Pensée contenant le raisonnement de Claude, lequel est sécurisé par une signature cryptographique pour garantir l'intégrité du contenu.
• L'activation de cette fonction est gérée par le paramètre booléen thinking et nécessite un thinking_budget minimum de 1024 tokens.
• Le système peut générer un Contenu Redacté (masqué) si un système de sécurité interne signale le texte de réflexion initial, nécessitant une gestion spécifique par l'application.