Response streaming

विषय: चैट इंटरफ़ेस में स्ट्रीमिंग (Streaming in Chat Interface)

• समस्या (The Problem):
• सामान्य चैट इंटरफ़ेस में, उपयोगकर्ता का संदेश भेजने और पूर्ण उत्तर प्राप्त होने के बीच काफी समय (जैसे 10 से 30 सेकंड) लग सकता है।
• इस प्रतीक्षा समय के दौरान, केवल एक लोडिंग स्पिनर दिखाना उपयोगकर्ता अनुभव (User Experience) के लिए अच्छा नहीं है।

• समाधान: स्ट्रीमिंग (Streaming):
• स्ट्रीमिंग एक तकनीक है जो उपयोगकर्ता को उत्तर के पूरा बनने से पहले ही, छोटे-छोटे हिस्सों (chunks) में टेक्स्ट दिखाना शुरू कर देती है।
• इससे उपयोगकर्ता को ऐसा महसूस होता है कि प्रतिक्रिया तुरंत आ रही है, जिससे उपयोगकर्ता अनुभव बेहतर होता है।

• स्ट्रीमिंग कैसे काम करता है (Mechanism):
• प्रारंभिक अनुरोध: सर्वर क्लाउड (Claude) को उपयोगकर्ता का संदेश भेजता है।
• प्रारंभिक संकेत: क्लाउड तुरंत एक प्रारंभिक प्रतिक्रिया भेजता है, जिसमें कोई टेक्स्ट नहीं होता, बल्कि यह संकेत होता है कि वह टेक्स्ट जनरेट करना शुरू कर रहा है।
• इवेंट स्ट्रीम: सर्वर को लगातार इवेंट (events) की एक धारा (stream) प्राप्त होती है।
• डेटा का विभाजन: प्रत्येक इवेंट में जनरेट किए जा रहे उत्तर का एक छोटा टुकड़ा (chunk) होता है।
• डिस्प्ले: सर्वर इन टुकड़ों को तुरंत वेब/मोबाइल ऐप पर भेजता है, जिससे टेक्स्ट स्क्रीन पर टुकड़ा दर टुकड़ा दिखाई देता है।

• तकनीकी कार्यान्वयन (SDK Implementation):
• पारंपरिक तरीका (Complex): इवेंट्स (जैसे raw content block delta) को मैन्युअल रूप से चेक करना और टेक्स्ट निकालना जटिल हो सकता है।
• सरल तरीका (Preferred): client_messages. stream फ़ंक्शन का उपयोग करना।
• यह फ़ंक्शन सीधे टेक्स्ट को स्ट्रीम करता है।
• कोड में for text in stream. text का उपयोग करने से, हमें सीधे वह टेक्स्ट मिलता है जिसकी हमें आवश्यकता होती है, जिससे अतिरिक्त कोड की आवश्यकता कम हो जाती है।

• अंतिम संदेश प्राप्त करना (Final Message Retrieval):
• स्ट्रीमिंग के दौरान, आप टेक्स्ट को तुरंत डिस्प्ले करते हैं।
• लेकिन, यदि आपको पूरी बातचीत को डेटाबेस में स्टोर करना है, तो आप स्ट्रीम पूरा होने के बाद stream. get_final_message() का उपयोग करके सभी प्राप्त टुकड़ों को एक एकल, पूर्ण संदेश के रूप में इकट्ठा कर सकते हैं।

Takeaways

• स्ट्रीमिंग एक ऐसी तकनीक है जो पूर्ण उत्तर आने से पहले ही टेक्स्ट को छोटे-छोटे हिस्सों (chunks) में दिखाकर उपयोगकर्ता अनुभव (UX) को बेहतर बनाती है।
• यह प्रक्रिया सर्वर द्वारा लगातार इवेंट स्ट्रीम भेजने और क्लाइंट द्वारा उन टुकड़ों को तुरंत डिस्प्ले करने पर आधारित है।
• तकनीकी कार्यान्वयन के लिए, जटिल मैन्युअल प्रोसेसिंग के बजाय client_messages. stream फ़ंक्शन का उपयोग करना सबसे सरल और पसंदीदा तरीका है।
• पूरी बातचीत को डेटाबेस में स्टोर करने के लिए, स्ट्रीम पूरा होने के बाद stream. get_final_message() का उपयोग करके सभी टुकड़ों को एक पूर्ण संदेश के रूप में इकट्ठा किया जाता है।