Streaming

विषय: Bedrock में converse stream का उपयोग करके स्ट्रीमिंग प्रतिक्रिया (Streaming Response)

यह नोट्स चैट इंटरफ़ेस में विलंबता (latency) की समस्या को हल करने और उपयोगकर्ता को तुरंत प्रतिक्रिया दिखाने के लिए स्ट्रीमिंग तकनीक पर आधारित हैं।

💡 मुख्य अवधारणाएँ:

• विलंबता की समस्या (Latency Issue):
• पारंपरिक अनुरोध/प्रतिक्रिया (Request/Response) मॉडल में, प्रतिक्रिया पूरी होने तक प्रतीक्षा करनी पड़ती है (3 से 30 सेकंड तक)।
• उपयोगकर्ता तुरंत प्रतिक्रिया देखना चाहते हैं, इसलिए प्रतीक्षा करना असंतोषजनक होता है।
• समाधान: converse stream फ़ंक्शन:
• यह फ़ंक्शन प्रतिक्रिया को एक बार में भेजने के बजाय, जैसे-जैसे मॉडल टेक्स्ट उत्पन्न करता है, उसे छोटे-छोटे हिस्सों (chunks) में लगातार भेजता है।
• इससे उपयोगकर्ता को तुरंत सामग्री दिखाई देने लगती है।
• स्ट्रीमिंग प्रक्रिया (Streaming Process):
• प्रारंभिक प्रतिक्रिया (Initial Response): अनुरोध भेजने के तुरंत बाद, आपको जेनरेट किया गया टेक्स्ट नहीं मिलता। इसके बजाय, आपको एक प्रारंभिक संदेश मिलता है जो केवल यह पुष्टि करता है कि अनुरोध प्राप्त हो गया है और टेक्स्ट जनरेशन शुरू हो गया है।
• इवेंट स्ट्रीम (Event Stream): वास्तविक प्रतिक्रिया एक इवेंट स्ट्रीम के रूप में आती है, जिसे एक जनरेटर (generator) के रूप में इटरेट किया जाता है।
• महत्वपूर्ण इवेंट प्रकार (Key Event Types):
• स्ट्रीम में कई प्रकार के इवेंट होते हैं (जैसे message start, content block start, message stop, आदि)।
• content block delta: यह सबसे महत्वपूर्ण इवेंट है। यह इवेंट मॉडल द्वारा उत्पन्न किए गए टेक्स्ट का एक छोटा टुकड़ा (chunk) रखता है।
• कार्यान्वयन तर्क (Implementation Logic):
• इटरेशन (Iteration): आपको स्ट्रीम पर लूप चलाना होगा।
• चयन (Selection): लूप के अंदर, आपको यह जांचना होगा कि क्या वर्तमान इवेंट content block delta है।
• डेटा निष्कर्षण (Data Extraction): यदि यह content block delta है, तो उस इवेंट से टेक्स्ट का टुकड़ा (delta text) निकालें।
• प्रदर्शन (Display): इस टेक्स्ट के टुकड़े को तुरंत ब्राउज़र/ऐप पर प्रदर्शित करें (बिना नई लाइन के, ताकि यह सहज दिखे)।
• संग्रहण (Collection): सभी प्राप्त टेक्स्ट टुकड़ों को एक साथ जोड़कर अंतिम पूर्ण संदेश (Total Message) बनाया जाता है।

Takeaways

• पारंपरिक अनुरोध/प्रतिक्रिया मॉडल में विलंबता (latency) की समस्या होती है; converse stream इस समस्या को हल करने के लिए प्रतिक्रिया को छोटे-छोटे हिस्सों (chunks) में भेजता है।
• प्रतिक्रिया एक बार में नहीं, बल्कि एक इवेंट स्ट्रीम (Event Stream) के रूप में आती है, जिसे एक जनरेटर (generator) के रूप में इटरेट किया जाता है।
• स्ट्रीम में सबसे महत्वपूर्ण इवेंट content block delta होता है, जो मॉडल द्वारा उत्पन्न टेक्स्ट का एक छोटा टुकड़ा (delta text) रखता है।
• कार्यान्वयन के लिए, स्ट्रीम पर लूप चलाना आवश्यक है और content block delta इवेंट मिलने पर उस टेक्स्ट को तुरंत प्रदर्शित करना होता है।