Prompt caching in action

प्रॉम्प्ट कैशिंग (Prompt Caching) - मुख्य अवधारणाएँ

• परिचय: प्रॉम्प्ट कैशिंग का उपयोग तब किया जाता है जब आप एक ही सामग्री (जैसे, सिस्टम प्रॉम्प्ट, टूल स्कीमा, या संदेश) को बार-बार भेज रहे हों। यह दोहराव को कम करके दक्षता बढ़ाता है।
• उद्देश्य: सिस्टम प्रॉम्प्ट और टूल स्कीमा के लिए डिफ़ॉल्ट रूप से प्रॉम्प्ट कैशिंग सक्षम करना।
• टूल स्कीमा कैशिंग (Tool Schema Caching):
• टूल स्कीमा को कैश करने के लिए, अंतिम टूल स्कीमा में cache control फ़ील्ड जोड़ना आवश्यक है।
• इस फ़ील्ड का प्रकार ephemeral सेट किया जाता है।
• सर्वोत्तम अभ्यास (Best Practice): टूल की सूची को सीधे संशोधित करने के बजाय, सूची की एक प्रति (copy) बनाएं, अंतिम टूल स्कीमा की एक प्रति क्लोन करें, उसमें cache control फ़ील्ड जोड़ें, और फिर मूल सूची को इस क्लोन से बदल दें। यह टूल के क्रम बदलने पर होने वाली समस्याओं से बचाता है।
• सिस्टम प्रॉम्प्ट कैशिंग (System Prompt Caching):
• चैट फ़ंक्शन में सिस्टम प्रॉम्प्ट के लिए एक टेक्स्ट ब्लॉक जोड़ा जाता है।
• इस ब्लॉक में type: text, text: system, और cache control: ephemeral शामिल होना चाहिए।
• कैशिंग की कार्यप्रणाली (Caching Mechanics):
• कैश क्रिएशन (Cache Creation): जब टूल या सिस्टम प्रॉम्प्ट पहली बार भेजे जाते हैं, तो मॉडल उन्हें कैश में लिखता है (Cache Write)।
• कैश रीड (Cache Read): यदि इन तत्वों में कोई बदलाव नहीं होता है, तो मॉडल उन्हें कैश से पढ़ता है (Cache Read), जिससे टोकन की खपत कम होती है।
• कैशिंग का क्रम (Caching Order): कैशिंग का क्रम इस प्रकार होता है: टूल → सिस्टम प्रॉम्प्ट → संदेश (Messages)।
• कैश इनवैलिडेशन (Cache Invalidation):
• यदि टूल स्कीमा में कोई भी बदलाव किया जाता है, तो टूल के लिए सेट किया गया कैश तुरंत अमान्य (invalidate) हो जाता है।
• यदि सिस्टम प्रॉम्प्ट में कोई बदलाव किया जाता है, तो सिस्टम प्रॉम्प्ट के लिए सेट किया गया कैश अमान्य हो जाता है।
• निष्कर्ष: प्रॉम्प्ट कैशिंग का उपयोग तब किया जाता है जब इनपुट सामग्री (टूल, सिस्टम प्रॉम्प्ट, या संदेश) समान हो।

Takeaways

• प्रॉम्प्ट कैशिंग का उद्देश्य दोहराई जाने वाली सामग्री (जैसे सिस्टम प्रॉम्प्ट या टूल स्कीमा) को भेजकर दक्षता बढ़ाना है।
• टूल स्कीमा कैश करने के लिए अंतिम स्कीमा में cache control फ़ील्ड को ephemeral सेट करना आवश्यक है।
• सिस्टम प्रॉम्प्ट कैशिंग के लिए एक विशिष्ट टेक्स्ट ब्लॉक का उपयोग किया जाता है जिसमें cache control: ephemeral शामिल होना चाहिए।
• पहली बार सामग्री भेजे जाने पर कैश राइट होता है, और बाद में कैश रीड होता है, जिससे टोकन की खपत कम होती है।
• टूल स्कीमा या सिस्टम प्रॉम्प्ट में कोई भी बदलाव होने पर संबंधित कैश तुरंत अमान्य (invalidate) हो जाता है।