Response streaming

स्ट्रीमिंग (Streaming) की अवधारणा: मुख्य अध्ययन नोट्स

**1. पारंपरिक चैट इंटरफ़ेस की समस्या (The Problem with Traditional Chat)**

• प्रक्रिया: उपयोगकर्ता प्रश्न भेजता है → सर्वर Claude को भेजता है → Claude प्रतिक्रिया उत्पन्न करता है → सर्वर प्रतिक्रिया प्राप्त करता है → क्लाइंट को दिखाता है।
• समस्या: प्रतिक्रिया आने में लंबा समय लग सकता है (उदाहरण के लिए, 10 से 30 सेकंड)।
• उपयोगकर्ता अनुभव (UX) पर प्रभाव: लंबे इंतज़ार के दौरान केवल स्पिनर दिखाना अच्छा अनुभव नहीं है। उपयोगकर्ता तुरंत प्रतिक्रिया देखना चाहते हैं।

**2. स्ट्रीमिंग क्या है? (What is Streaming? )**

• परिभाषा: यह एक तकनीक है जो पूरी प्रतिक्रिया का इंतज़ार करने के बजाय, प्रतिक्रिया को छोटे-छोटे हिस्सों (Chunks) में तुरंत क्लाइंट को भेजती है।
• लाभ: उपयोगकर्ता को टेक्स्ट तुरंत दिखाई देना शुरू हो जाता है, जिससे प्रतीक्षा का समय कम महसूस होता है और UX बेहतर होता है।

**3. स्ट्रीमिंग कैसे काम करती है? (How Streaming Works)**

• प्रारंभिक चरण: सर्वर Claude को उपयोगकर्ता का संदेश भेजता है।
• पहला संकेत: Claude तुरंत एक प्रारंभिक प्रतिक्रिया भेजता है (जिसमें अभी कोई टेक्स्ट नहीं होता, बल्कि यह संकेत होता है कि जनरेशन शुरू हो गई है)।
• इवेंट स्ट्रीम: इसके बाद, सर्वर को प्रतिक्रिया के छोटे-छोटे टुकड़ों (Events) का एक प्रवाह (Stream) प्राप्त होता है।
• डिस्प्ले: सर्वर प्रत्येक इवेंट से टेक्स्ट निकालता है और उसे तुरंत वेब/मोबाइल ऐप पर प्रदर्शित करता है।
• परिणाम: उपयोगकर्ता को टेक्स्ट एक-एक करके (Chunk by Chunk) दिखाई देता है।

**4. तकनीकी कार्यान्वयन (Technical Implementation using SDK)**

• पारंपरिक तरीका (Complex): SDK से इवेंट प्राप्त करना और raw content block Delta जैसे विशिष्ट इवेंट प्रकारों की जाँच करना ताकि वास्तविक टेक्स्ट निकाला जा सके।
• सरल तरीका (Recommended): client_messages. stream फ़ंक्शन का उपयोग करना।
• यह फ़ंक्शन सीधे टेक्स्ट के प्रवाह पर इटरेट करने की अनुमति देता है।
• for text in stream. text: का उपयोग करने पर, text वेरिएबल में सीधे वह टेक्स्ट होता है जो जनरेट हो रहा है।

**5. स्ट्रीमिंग के बाद अंतिम चरण (Post-Stream Action)**

• चूंकि स्ट्रीमिंग के दौरान टेक्स्ट टुकड़ों में आता है, इसलिए पूरे संवाद को रिकॉर्ड करने के लिए, स्ट्रीमिंग पूरी होने के बाद stream. get_final_message() का उपयोग किया जाता है।
• यह फ़ंक्शन सभी प्राप्त टुकड़ों को इकट्ठा करके एक एकल, पूर्ण संदेश प्रदान करता है जिसे डेटाबेस में संग्रहीत किया जा सकता है।

Takeaways

• पारंपरिक चैट इंटरफ़ेस में प्रतिक्रिया आने में लंबा समय लगता है, जिससे उपयोगकर्ता अनुभव (UX) प्रभावित होता है।
• स्ट्रीमिंग एक ऐसी तकनीक है जो पूरी प्रतिक्रिया का इंतज़ार करने के बजाय, उसे छोटे-छोटे हिस्सों (Chunks) में तुरंत क्लाइंट को भेजती है।
• स्ट्रीमिंग के दौरान, सर्वर Claude से प्राप्त हर इवेंट को तुरंत वेब/मोबाइल ऐप पर प्रदर्शित करता है, जिससे टेक्स्ट एक-एक करके दिखाई देता है।
• तकनीकी कार्यान्वयन के लिए, client_messages. stream फ़ंक्शन का उपयोग करना सबसे सरल और अनुशंसित तरीका है।
• स्ट्रीमिंग पूरी होने के बाद, सभी प्राप्त टुकड़ों को एक एकल, पूर्ण संदेश में इकट्ठा करने के लिए stream. get_final_message() का उपयोग किया जाता है।