Extended thinking

📝 Lernnotizen: Extended Thinking bei Claude

🧠 Was ist Extended Thinking?

• Definition: Eine erweiterte Funktion, die Claude Zeit gibt, eine Benutzeranfrage zu überlegen (reason) und zu verarbeiten, bevor eine endgültige Antwort generiert wird.
• Vorteil: Ermöglicht die Bearbeitung komplexerer Aufgaben mit höherer Genauigkeit.
• Nachteile (Trade-offs):
• Erhöhte Kosten (Tokens werden während der Denkphase generiert).
• Erhöhte Latenz (die Phase benötigt Zeit).

🎯 Wann sollte man es nutzen?

• Die Entscheidung basiert auf Prompt Evaluations (Evals).
• Extended Thinking sollte aktiviert werden, wenn die Genauigkeit des Prompts trotz Optimierungsaufwand nicht ausreichend ist.

⚙️ Funktionsweise und Struktur der Antwort

• Normaler Ablauf: Benutzer-Nachricht → Assistent-Nachricht (Textteil).
• Mit Extended Thinking: Die Antwort enthält einen neuen Teiltyp:
• Reasoning Content Part: Enthält den Text, den Claude während der Denkphase generiert hat.
• Text Part: Enthält die finale Antwort.

🔒 Wichtige Merkmale des Reasoning Content Part

• Signatur (Signature): Ein kryptografischer Token. Er stellt sicher, dass der Denktext nicht nachträglich verändert wurde. Dies verhindert, dass der Benutzer Claude in eine unsichere Richtung lenkt.
• Redacted Content: Wenn der Denktext von internen Sicherheitsmechanismen als problematisch eingestuft wird, wird er als redacted content zurückgegeben. Dies ist die verschlüsselte Form des Denkttextes, die zur zukünftigen Konversation bereitsteht.

🛠️ Implementierung und Konfiguration

• Chat Helper Funktion: Muss mit zusätzlichen Schlüsselwortargumenten aktualisiert werden.
• thinking: Ein boolescher Parameter (Standard: false), um die Funktion zu aktivieren.
• thinking_budget: Definiert die maximale Anzahl der Tokens, die Claude für die Denkphase verwenden darf (z. B. 1024).
• Wichtig: Der optimale Wert für das thinking_budget muss durch eigene Evals für die spezifische Anwendung bestimmt werden.

🔑 Kernbotschaft

• Die Nutzung von Extended Thinking ist keine allgemeine Regel, sondern muss immer durch Prompt Evaluations validiert werden.

Takeaways

• Extended Thinking gibt Claude Zeit zum Überlegen (Reasoning), um die Genauigkeit bei komplexen Benutzeranfragen zu erhöhen.
• Die Nutzung ist keine allgemeine Regel, sondern muss immer durch Prompt Evaluations (Evals) validiert werden, wenn die Genauigkeit nicht ausreichend ist.
• Es gibt Trade-offs: Extended Thinking führt zu erhöhten Kosten (Tokens während der Denkphase) und erhöhter Latenz.
• Die Funktion wird über den booleschen Parameter thinking und das Limit thinking_budget (maximale Tokens für die Denkphase) konfiguriert.