Rules of prompt caching

प्रॉम्प्ट कैशिंग (Prompt Caching) के मुख्य नोट्स

परिभाषा और कार्यप्रणाली:

• मूल विचार: प्रॉम्प्ट कैशिंग का उद्देश्य प्रारंभिक अनुरोध (initial request) पर किए गए प्रोसेसिंग कार्य को एक अस्थायी कैश (temporary cache) में सहेजना है।
• कार्य: भविष्य में, यदि समान संदेश (identical message) भेजा जाता है, तो सिस्टम पूरे संदेश को फिर से प्रोसेस करने के बजाय कैश से पहले से किया गया कार्य लोड करता है।
• समय सीमा: कैश में सहेजा गया डेटा स्थायी नहीं होता; यह केवल एक घंटे (one hour) के लिए संग्रहीत रहता है।
• उपयोगिता: यह तब सबसे अधिक उपयोगी होता है जब आप बार-बार एक ही सामग्री (same content) को सिस्टम को भेजते हैं।

सक्षम करना और कार्यान्वयन:

• डिफ़ॉल्ट स्थिति: प्रॉम्प्ट कैशिंग डिफ़ॉल्ट रूप से सक्षम नहीं होती है।
• सक्रिय करना: कैशिंग को चालू करने के लिए, आपको किसी संदेश (message) के भीतर एक ब्लॉक में मैन्युअल रूप से एक कैश ब्रेकपॉइंट (cache breakpoint) जोड़ना होता है।
• संरचना (Structure): कैश कंट्रोल (cache control) फ़ील्ड को जोड़ने के लिए, टेक्स्ट ब्लॉक को शॉर्ट फॉर्म (सरल स्ट्रिंग) के बजाय लॉन्ग फॉर्म (Content field को List और Dictionary के रूप में असाइन करना) में लिखना आवश्यक है।
• कैश की सीमा: ब्रेकपॉइंट पर, उस बिंदु तक की पूरी सामग्री (content) कैश में सहेजी जाती है।

महत्वपूर्ण नियम और शर्तें:

• समानता की शर्त: फॉलो-अप अनुरोध (follow-up request) में ब्रेकपॉइंट तक की सामग्री बिल्कुल समान होनी चाहिए। यदि इसमें कोई भी बदलाव होता है, तो कैश का उपयोग नहीं किया जाएगा और सिस्टम को फिर से प्रोसेस करना होगा।
• ब्रेकपॉइंट कहाँ लगाए जा सकते हैं:
• संदेश ब्लॉक (Message Blocks - User/Assistant)
• टूल स्कीमा (Tool Schemas)
• सिस्टम प्रॉम्प्ट (System Prompts)
• टूल रिजल्ट (Tool Results)
• इमेज ब्लॉक (Image Blocks)
• प्रोसेसिंग का क्रम: सिस्टम के भीतर सामग्री का क्रम इस प्रकार होता है: टूल्स → सिस्टम प्रॉम्प्ट → संदेश (Tools → System Prompt → Messages)।
• बहु-ब्रेकपॉइंट (Multiple Breakpoints): आप कुल चार (4) तक कैश ब्रेकपॉइंट जोड़ सकते हैं। रणनीतिक प्लेसमेंट से आप सिस्टम प्रॉम्प्ट और टूल्स को कैश कर सकते हैं, भले ही संदेश बदल जाएं।
• न्यूनतम सामग्री (Minimum Content): कैश करने के लिए सामग्री की एक न्यूनतम लंबाई होनी चाहिए। कम से कम 1024 टोकन (tokens) की सामग्री कैश की जाएगी।

Takeaways

• प्रॉम्प्ट कैशिंग का उद्देश्य समान संदेशों के लिए प्रोसेसिंग कार्य को अस्थायी रूप से सहेजना है, जिससे सिस्टम को बार-बार गणना न करनी पड़े।
• यह डिफ़ॉल्ट रूप से सक्षम नहीं होता है; इसे सक्रिय करने के लिए संदेश में मैन्युअल रूप से "कैश ब्रेकपॉइंट" और "लॉन्ग फॉर्म" संरचना का उपयोग करना आवश्यक है।
• कैश का उपयोग तभी होगा जब फॉलो-अप अनुरोध में ब्रेकपॉइंट तक की सामग्री बिल्कुल समान हो; किसी भी बदलाव पर कैश काम नहीं करेगा।
• आप कुल चार (4) तक कैश ब्रेकपॉइंट जोड़ सकते हैं, जो संदेश ब्लॉक, सिस्टम प्रॉम्प्ट और टूल स्कीमा जैसे विभिन्न स्थानों पर लगाए जा सकते हैं।
• कैश करने के लिए सामग्री की न्यूनतम लंबाई 1024 टोकन होनी चाहिए और यह डेटा केवल एक घंटे के लिए संग्रहीत रहता है।