Extended thinking

विस्तारित सोच (Extended Thinking) के मुख्य अध्ययन नोट्स

परिचय और कार्यप्रणाली:

• **विस्तारित सोच क्या है? ** यह एक उन्नत सुविधा है जो Claude को अंतिम प्रतिक्रिया देने से पहले उपयोगकर्ता के प्रश्न पर तर्क (reason) करने के लिए समय देती है।
• लाभ: यह अधिक जटिल कार्यों को बेहतर सटीकता (accuracy) के साथ हल करने की अनुमति देता है।
• ट्रेड-ऑफ (Trade-offs):
• लागत: सोचने की प्रक्रिया के दौरान उत्पन्न टोकन के लिए शुल्क लिया जाता है।
• विलंबता (Latency): इस प्रक्रिया को पूरा होने में समय लगता है।
• उपयोग का निर्णय: विस्तारित सोच का उपयोग तब करना चाहिए जब प्रॉम्प्ट सुधार के बावजूद सटीकता वांछित स्तर पर न हो (प्रॉम्प्ट मूल्यांकन/Prompt Evals पर निर्भर रहें)।

संरचना और घटक:

• ब्लॉक प्रकार: सामान्य प्रतिक्रिया (User Message → Assistant Message) के अलावा, विस्तारित सोच के साथ प्रतिक्रिया में एक नया 'सोच ब्लॉक' (Thinking Block) शामिल होता है।
• सोच ब्लॉक के अंदर:
• सोच पाठ (Thinking Text): वह पाठ जो Claude ने सोचने के दौरान उत्पन्न किया है।
• हस्ताक्षर (Signature): यह एक क्रिप्टोग्राफ़िक टोकन है। इसका उपयोग यह सुनिश्चित करने के लिए किया जाता है कि बातचीत में इस ब्लॉक के पाठ को किसी भी तरह से बदला या संशोधित नहीं गया है, जिससे Claude को सुरक्षित रूप से प्रतिक्रिया देने में मदद मिलती है।
• संपादित सामग्री (Redacted Content):
• यदि Claude की आंतरिक सुरक्षा प्रणाली (internal safety system) सोचने वाले पाठ को चिह्नित करती है, तो वह पाठ पूरी तरह से एन्क्रिप्टेड रूप में वापस आ सकता है।
• यह एन्क्रिप्टेड सामग्री संदर्भ बनाए रखने के लिए प्रदान की जाती है, ताकि भविष्य में Claude को पिछली सोच का संदर्भ मिल सके।

तकनीकी कार्यान्वयन (Implementation):

• सक्रिय करना: चैट फ़ंक्शन में thinking: true पास करके इसे सक्षम किया जाता है।
• सोच बजट (Thinking Budget):
• यह वह टोकन सीमा है जो Claude को सोचने के लिए आवंटित की जाती है।
• न्यूनतम मान 1024 टोकन है।
• अधिकतम टोकन (Max Tokens):
• max_tokens का मान हमेशा thinking_budget से अधिक होना चाहिए (उदाहरण: यदि बजट 1024 है, तो अधिकतम टोकन ≥ 1025 होना चाहिए)।
• पैरामीटर संरचना: यदि thinking सक्षम है, तो params डिक्शनरी में एक नेस्टेड डिक्शनरी (nested dictionary) के रूप में thinking की आवश्यकता होती है, जिसमें enabled और budget_tokens शामिल होते हैं।
• परीक्षण (Testing): एक विशेष "मैजिक स्ट्रिंग" (जैसे: "anthropic magic string triggered redacted thinking") का उपयोग करके यह सुनिश्चित किया जा सकता है कि एप्लिकेशन संपादित सोच ब्लॉक को सही ढंग से संभाल सकता है।

Takeaways

• विस्तारित सोच (Extended Thinking) एक उन्नत सुविधा है जो Claude को अंतिम प्रतिक्रिया देने से पहले तर्क करने का समय देती है, जिससे जटिल कार्यों में सटीकता बढ़ती है।
• यह प्रतिक्रिया में एक नया 'सोच ब्लॉक' (Thinking Block) शामिल करता है, जिसमें Claude द्वारा उत्पन्न 'सोच पाठ' और ब्लॉक की अखंडता सुनिश्चित करने के लिए एक 'हस्ताक्षर' (Signature) होता है।
• इसके उपयोग के मुख्य ट्रेड-ऑफ हैं: सोचने की प्रक्रिया के दौरान उत्पन्न टोकन के लिए लागत और विलंबता (Latency) में वृद्धि।
• तकनीकी रूप से, 'सोच बजट' (Thinking Budget) टोकन की सीमा है, और max_tokens का मान हमेशा thinking_budget से अधिक होना चाहिए।