Extended thinking

क्लाउड में एक्सटेंडेड थिंकिंग (Extended Thinking) के मुख्य नोट्स

परिचय और उद्देश्य:

• परिभाषा: एक्सटेंडेड थिंकिंग एक उन्नत सुविधा है जो क्लाउड को अंतिम प्रतिक्रिया देने से पहले उपयोगकर्ता के प्रश्न पर विचार (reason) करने के लिए समय देती है।
• लाभ: जटिल कार्यों को अधिक सटीकता (accuracy) के साथ हल करना।
• नुकसान (Trade-offs):
• लागत: थिंकिंग चरण के दौरान उत्पन्न टोकन के लिए शुल्क लिया जाता है।
• विलंबता (Latency): प्रक्रिया को पूरा होने में अधिक समय लगता है।
• उपयोग का समय: जब प्रॉम्प्ट इवैल्यूएशन (prompt evals) से पता चले कि सटीकता वांछित स्तर पर नहीं है, और प्रॉम्प्ट सुधार में काफी प्रयास किया जा चुका हो।

कार्यप्रणाली और संरचना:

• प्रतिक्रिया संरचना: सामान्य टेक्स्ट ब्लॉक के अलावा, एक्सटेंडेड थिंकिंग सक्षम होने पर प्रतिक्रिया में एक नया थिंकिंग ब्लॉक (Thinking Block) शामिल होता है।
• थिंकिंग ब्लॉक: इसमें वह टेक्स्ट होता है जो क्लाउड ने विचार करते समय उत्पन्न किया था।
• सिग्नेचर (Signature):
• यह एक क्रिप्टोग्राफिक टोकन है जो थिंकिंग ब्लॉक के अंदर होता है।
• कार्य: यह सुनिश्चित करता है कि डेवलपर या उपयोगकर्ता ने थिंकिंग टेक्स्ट को किसी भी तरह से संशोधित (modify) नहीं किया है। यह प्रतिक्रिया की सुरक्षा के लिए महत्वपूर्ण है।
• रेडैक्टेड कंटेंट (Redacted Content):
• यदि क्लाउड का कोई थिंकिंग टेक्स्ट आंतरिक सुरक्षा प्रणाली द्वारा फ़्लैग किया जाता है, तो प्रतिक्रिया में रेडैक्टेड कंटेंट ब्लॉक प्राप्त हो सकता है।
• यह वास्तविक थिंकिंग टेक्स्ट का एन्क्रिप्टेड रूप होता है, जिससे संदर्भ (context) बना रहता है।

तकनीकी कार्यान्वयन (Implementation):

• आवश्यक पैरामीटर: चैट फंक्शन में दो अतिरिक्त तर्क (arguments) जोड़ने की आवश्यकता होती है:
• thinking: (Boolean) इसे true पर सेट करें।
• thinking_budget: वह टोकन संख्या जो क्लाउड को सोचने के लिए आवंटित की जाती है।
• थिंकिंग बजट की सीमा:
• न्यूनतम थिंकिंग बजट 1024 टोकन है।
• महत्वपूर्ण नियम: max tokens का मान हमेशा thinking_budget से बड़ा होना चाहिए।
• पैरामीटर डिक्शनरी में संरचना: यदि थिंकिंग सक्षम है, तो params डिक्शनरी में एक नेस्टेड (nested) thinking कुंजी जोड़ी जाती है, जिसमें type: enabled और budget_tokens शामिल होते हैं।
• परीक्षण (Testing): रेडैक्टेड थिंकिंग ब्लॉक को टेस्ट करने के लिए एक विशेष "थिंकिंग टेस्ट स्ट्रिंग" का उपयोग किया जा सकता है।

Takeaways

• एक्सटेंडेड थिंकिंग क्लाउड को प्रतिक्रिया देने से पहले विचार करने का समय देती है, जिससे जटिल कार्यों में सटीकता बढ़ती है, लेकिन यह लागत और विलंबता (latency) भी बढ़ाती है।
• यह सुविधा प्रतिक्रिया में एक नया "थिंकिंग ब्लॉक" शामिल करती है, जिसमें क्लाउड द्वारा किए गए विचार दर्ज होते हैं।
• थिंकिंग ब्लॉक में एक क्रिप्टोग्राफिक "सिग्नेचर" होता है जो यह सुनिश्चित करता है कि थिंकिंग टेक्स्ट को संशोधित नहीं किया गया है।
• इसे लागू करने के लिए चैट फंक्शन में thinking: true और एक thinking_budget (न्यूनतम 1024 टोकन) सेट करना आवश्यक है।