Extended thinking

🧠 Lernnotizen: Extended Thinking in Claude

Definition & Zweck

• Extended Thinking: Eine erweiterte Funktion, die Claude Zeit gibt, eine Benutzeranfrage zu durchdenken, bevor eine finale Antwort generiert wird.
• Vorteil: Ermöglicht die Bearbeitung komplexer Aufgaben mit höherer Genauigkeit.
• Anwendungsfall: Soll aktiviert werden, wenn die Genauigkeit der Antworten (nach Prompt-Optimierung) nicht den Anforderungen entspricht.

Trade-offs (Nachteile)

• Kosten: Es werden Tokens für die gesamte Denkphase (Thinking Phase) berechnet.
• Latenz: Die Bearbeitungszeit des Modells verlängert sich.

Struktur der Antwort

• Wenn Extended Thinking aktiviert ist, enthält die Antwort einen neuen Blocktyp: den Thinking Block.
• Inhalt des Thinking Blocks:
• Thinking Text: Der Text, der während des Denkprozesses generiert wurde.
• Signatur: Ein kryptografischer Token, der sicherstellt, dass der Thinking Text nicht nachträglich verändert wurde. Dies ist entscheidend für die Sicherheit und Integrität des Modells.
• Redacted Content: In manchen Fällen wird der Thinking Text durch ein Feld mit "redacted content" ersetzt, wenn interne Sicherheitssysteme ihn blockieren. Dieser Inhalt ist verschlüsselt und dient dazu, den Kontext für zukünftige Konversationen zu erhalten.

Technische Implementierung (API/Parameter)

• Aktivierung: Erfordert die Übermittlung zusätzlicher Argument in die Chat-Funktion.
• Parameter:
• thinking: Boolescher Wert (aktiviert/deaktiviert).
• thinking_budget: Die Mindestanzahl der Tokens, die für die Denkphase verwendet werden dürfen (Minimum: 1024).
• Wichtige Einschränkung: Die Gesamtanzahl der maximalen Tokens (max_tokens) muss größer sein als das festgelegte thinking_budget.
• Beispiel: Wenn thinking_budget 1024 ist, muss max_tokens mindestens 1025 sein.

Test und Debugging

• Test-Szenario: Um die Robustheit der Anwendung zu testen, kann eine spezielle, vorformatierte Zeichenkette ("magic string") an Claude gesendet werden, um garantiert einen Redacted Thinking Block zu erhalten.

Takeaways

• Extended Thinking gibt Claude Zeit zum Durchdenken komplexer Anfragen, was die Genauigkeit der Antworten erhöht.
• Die Nutzung hat Trade-offs: Es werden Tokens für die gesamte Denkphase berechnet und die Latenz verlängert sich.
• Aktivierung erfordert API-Parameter (thinking Bool, thinking_budget), wobei die Gesamtanzahl der maximalen Tokens (max_tokens) größer sein muss als das thinking_budget.
• Die Antwort enthält einen "Thinking Block" mit generiertem Text und einer kryptografischen Signatur, um die Integrität des Denkprozesses zu gewährleisten.