Extended thinking

Uitgebreide Denktijd (Extended Thinking)

• Definitie: Een functie die Claude tijd geeft om een query te redeneren voordat een definitief antwoord wordt gegenereerd.
• Voordelen: Maakt het mogelijk om complexere taken met grotere nauwkeurigheid aan te pakken.
• Afwegingen (Trade-offs):
• Verhoogde kosten (tokens worden gegenereerd tijdens de denkfase).
• Verhoogde latentie (de fase duurt langer).
• Wanneer gebruiken: De beslissing moet gebaseerd zijn op prompt-evaluaties (prompt evals). Schakel het in als de nauwkeurigheid van de prompt onvoldoende is, ondanks inspanningen.

Mechanisme en Componenten

• Nieuw Onderdeel: Wanneer deze functie is ingeschakeld, bevat het antwoord een nieuw type onderdeel: de reasoning content part.
• Denkproces: Dit onderdeel bevat de tekst die Claude genereert tijdens het denkproces.
• Signatuur (Signature): Een cryptografische token binnen de reasoning content part.
• Functie: Garandeert dat de tekst in het denkblok niet is gewijzigd.
• Doel: Voorkomt dat de gebruiker de output kan manipuleren om Claude naar een onveilige richting te sturen.
• Geredigeerde Inhoud (Redacted Content):
• Dit verschijnt wanneer het denkproces door een intern veiligheidssysteem wordt gemarkeerd.
• De werkelijke denktekst wordt in een volledig versleutelde vorm verstrekt, zodat de volledige boodschap later aan Claude kan worden teruggezonden.

Implementatie en Budget

• Denkbudget (Thinking Budget): Het aantal tokens dat is toegewezen aan de denkfase (bijv. 1024 tokens).
• Dit bepaalt de maximale lengte van de interne redenering.
• De optimale waarde is afhankelijk van de prompt-evaluaties van de specifieke applicatie.
• Kernprincipe: De beslissing om uitgebreide denkfunctie te gebruiken moet altijd gebaseerd zijn op de resultaten van prompt-evaluaties.

Takeaways

• Uitgebreide Denktijd geeft Claude tijd om te redeneren, wat leidt tot hogere nauwkeurigheid bij complexe taken, maar de kosten en latentie verhoogde.
• De functie introduceert een reasoning content part die het denkproces bevat en een cryptografische Signatuur heeft om manipulatie te voorkomen.
• De beslissing om deze functie in te schakelen moet altijd gebaseerd zijn op de resultaten van prompt-evaluaties (prompt evals).
• Het Denktbudget bepaalt het maximale aantal tokens dat aan de interne redeneringsfase is toegewezen.