Fine grained tool calling

विषय: टूल यूज़ के साथ स्ट्रीमिंग (Tool Use with Streaming)

**I. स्ट्रीमिंग का उद्देश्य**

• परिभाषा: स्ट्रीमिंग API वास्तविक समय (real-time) में अपडेट प्रदान करती है।
• लाभ: उपयोगकर्ता को ऐप में हो रहे कार्यों का बेहतर और तात्कालिक अंदाज़ा मिलता है।

**II. टूल यूज़ और इवेंट हैंडलिंग**

• आवश्यकता: स्ट्रीमिंग के साथ टूल का उपयोग करते समय एक विशेष इवेंट को हैंडल करना आवश्यक होता है।
• इनपुट JSON इवेंट के मुख्य गुण:
• पार्शियल JSON (Partial JSON): टूल के तर्क (argument) में भेजा जाने वाला JSON का वह हिस्सा जो अभी उत्पन्न हुआ है।
• स्नैपशॉट (Snapshot): अब तक प्राप्त सभी पार्शियल JSON टुकड़ों का संचयी योग (cumulative sum)।

**III. डिफ़ॉल्ट व्यवहार और विलंब (Default Behavior & Delay)**

• प्रक्रिया: डिफ़ॉल्ट रूप से, Anthropic API टूल कॉल के JSON को तुरंत नहीं भेजता।
• कारण: API JSON को स्कीमा (schema) के विरुद्ध मान्य (validate) करने के लिए टुकड़ों को बफर (buffer) करता है।
• परिणाम: यह तब तक प्रतीक्षा करता है जब तक कि एक पूरा और मान्य की-वैल्यू पेयर नहीं बन जाता। इस सत्यापन (validation) के कारण एक बड़ा विलंब होता है, जिसके बाद एक बड़ा टेक्स्ट का टुकड़ा एक साथ दिखाई देता है।

**IV. समाधान: फाइन-ग्रेन्ड टूल कॉलिंग (Fine-grained Tool Calling)**

• परिचय: यह API की एक विशेषता है जो क्लासिक स्ट्रीमिंग अनुभव प्रदान करती है।
• कार्य: यह टूल स्ट्रिंगिंग को किसी भी मौजूदा स्ट्रिंग पाइपलाइन में आसानी से जोड़ता है।
• ट्रेड-ऑफ (Trade-off): फाइन-ग्रेन्ड टूल स्ट्रीमिंग का उपयोग करने का अर्थ है कि यह JSON सत्यापन (validation) चरण की लागत पर आता है।

**V. मुख्य अंतर (Summary)**

• डिफ़ॉल्ट टूल स्ट्रीमिंग: सत्यापन (validation) के कारण विलंब होता है।
• फाइन-ग्रेन्ड टूल स्ट्रीमिंग: क्लासिक, त्वरित स्ट्रीमिंग अनुभव प्रदान करती है।

Takeaways

• स्ट्रीमिंग API वास्तविक समय (real-time) में अपडेट प्रदान करती है, जिससे उपयोगकर्ता को कार्यों का तात्कालिक अंदाज़ा मिलता है।
• डिफ़ॉल्ट रूप से, API JSON को स्कीमा के विरुद्ध मान्य करने के लिए टुकड़ों को बफर करता है, जिसके कारण टूल कॉल में विलंब होता है।
• फाइन-ग्रेन्ड टूल कॉलिंग एक विशेषता है जो क्लासिक, त्वरित स्ट्रीमिंग अनुभव प्रदान करती है।
• फाइन-ग्रेन्ड टूल स्ट्रीमिंग का उपयोग करने का अर्थ है कि यह JSON सत्यापन (validation) चरण की लागत पर किया जाता है।