How computer use works

कंप्यूटर उपयोग (Computer Use) और टूल सिस्टम की कार्यप्रणाली

• टूल उपयोग की मूल प्रक्रिया (Tool Use Flow):
• टूल उपयोग के लिए, हम Claude को एक उपयोगकर्ता संदेश (User Message) और एक टूल स्कीमा (Tool Schema) के साथ अनुरोध भेजते हैं।
• Claude उपयोगकर्ता के संदेश का विश्लेषण करता है और यह तय करता है कि क्या वह टूल का उपयोग कर सकता है।
• यदि हाँ, तो Claude एक 'टूल यूज़' भाग (Tool Use Part) के साथ प्रतिक्रिया देता है, जिसमें टूल का नाम और आवश्यक इनपुट होता है।
• हमारे सर्वर पर लिखा कोड इस इनपुट को प्राप्त करता है और कार्य को पूरा करता है।
• कार्य का परिणाम (Tool Result) वापस Claude को भेजा जाता है।

• कंप्यूटर उपयोग का कार्यान्वयन (Implementation of Computer Use):
• कंप्यूटर उपयोग की कार्यप्रणाली भी टूल सिस्टम के समान ही है।
• हम Claude को एक विशेष और छोटा टूल स्कीमा भेजते हैं।
• यह छोटा स्कीमा आंतरिक रूप से एक बहुत बड़े स्ट्रक्चर में विस्तारित होता है।
• यह बड़ा स्ट्रक्चर Claude को बताता है कि वह 'एक्शन फंक्शन' (Action Function) कॉल कर सकता है, जैसे: माउस मूव (Mouse Move), लेफ्ट क्लिक (Left Click), स्क्रीनशॉट (Screenshot), आदि।
• जब Claude टूल का उपयोग करने का निर्णय लेता है, तो डेवलपर को उस अनुरोध को पूरा करना होता है।
• इसे सिमुलेट करने के लिए, हम एक डॉकर कंटेनर (Docker Container) का उपयोग करते हैं जो प्रोग्रामेटिक की प्रेस और माउस मूवमेंट को निष्पादित करता है।
• अंत में, हम परिणाम वापस Claude को भेजते हैं।

• मुख्य सिद्धांत (Core Principle):
• Claude सीधे कंप्यूटर को नियंत्रित नहीं करता है।
• कंप्यूटर उपयोग टूल सिस्टम के माध्यम से कार्यान्वित होता है, और वास्तविक कंप्यूटिंग वातावरण प्रदान करना डेवलपर की जिम्मेदारी होती है।

• शुरुआत कैसे करें (Getting Started):
• Anthropic ने कंप्यूटर उपयोग के लिए एक संदर्भ कार्यान्वयन (Reference Implementation) प्रदान किया है।
• यह एक डॉकर कंटेनर है जिसमें Claude के टूल अनुरोध प्राप्त करने और प्रोग्रामेटिक क्रियाएं निष्पादित करने के लिए आवश्यक कोड पहले से मौजूद है।

Takeaways

• टूल उपयोग के लिए, Claude को उपयोगकर्ता संदेश और टूल स्कीमा प्राप्त होता है, जिसके आधार पर वह टूल का उपयोग करने का निर्णय लेता है।
• जब Claude टूल का उपयोग करने का निर्णय लेता है, तो सर्वर पर लिखा कोड इनपुट प्राप्त करता है और कार्य को पूरा करके परिणाम वापस Claude को भेजता है।
• मुख्य सिद्धांत यह है कि Claude सीधे कंप्यूटर को नियंत्रित नहीं करता; वास्तविक कंप्यूटिंग वातावरण प्रदान करना डेवलपर की जिम्मेदारी होती है।
• कंप्यूटर उपयोग में, एक छोटा टूल स्कीमा आंतरिक रूप से 'एक्शन फंक्शन' (जैसे माउस मूव, क्लिक) को परिभाषित करता है, जिसे डॉकर कंटेनर जैसे माध्यम से निष्पादित किया जाता है।