Extended thinking

Studieopmerkingen: Extended Thinking in Claude

Wat is Extended Thinking?

• Definitie: Een functie die Claude tijd geeft om een query te redeneren voordat een definitief antwoord wordt gegenereerd.
• Doel: Het verhogen van de nauwkeurigheid bij complexe taken.
• Wanneer gebruiken: Wanneer de nauwkeurigheid van de prompt (ondanks verbeteringen) onvoldoende is (gebruik prompt evals).

Afwegingen (Trade-offs)

• Kosten: Er worden tokens in rekening gebracht voor de gedachtenfase.
• Latentie: De fase duurt langer, wat leidt tot meer vertraging.

Mechanisme en Structuur

• Thinking Block: Bij ingeschakelde extended thinking ontvang je een nieuw type blok in de respons: de thinking block.
• Signature: Een cryptografische token binnen de thinking block. Deze garandeert dat de tekst in de gedachtenfase niet is gemanipuleerd. Dit is cruciaal voor veiligheid en contextbehoud.
• Redacted Content: Soms ontvang je een thinking block met geredigeerde inhoud. Dit gebeurt wanneer interne veiligheidssystemen de gedachten van Claude markeren. De volledige tekst is dan versleuteld, maar beschikbaar voor contextbehoud.

Implementatie (Code)

• Activeren: De chatfunctie moet met thinking: true worden aangeroepen.
• Budget:
• thinking_budget: Het minimale aantal tokens dat Claude mag gebruiken voor het redeneren (minimum is 1024).
• max_tokens: Moet altijd groter zijn dan het thinking_budget (bijv. Budget 1024 → Max tokens ≥ 1025).
• Parameters: De params dictionary moet een geneste structuur bevatten: thinking: {type: enabled, budget_tokens: X}.

Testen en Validatie

• Teststring: Er bestaat een specifieke, vooraf gedefinieerde string (een "magic string") die je kunt gebruiken om een redacted thinking block te forceren. Dit is nuttig voor het testen van de robuustheid van je applicatie.

Takeaways

• Extended Thinking geeft Claude tijd om te redeneren voordat een antwoord wordt gegeven, wat de nauwkeurigheid bij complexe taken verhoogde.
• De afwegingen zijn hogere kosten (tokens) en meer vertraging (latentie) van de respons.
• Het mechanisme gebruikt een thinking block met een cryptografische token om de integriteit en veiligheid van de gedachten te garanderen.
• Om het te activeren, moet de chatfunctie met thinking: true worden aangeroepen en een thinking_budget worden ingesteld (minimum 1024 tokens).