Prompt caching in action

प्रॉम्प्ट कैशिंग (Prompt Caching) के मुख्य अध्ययन नोट्स

परिचय और आवश्यकता:

• परिभाषा: प्रॉम्प्ट कैशिंग एक तकनीक है जो AI मॉडल (जैसे Claude) को बार-बार दिए जाने वाले लंबे इनपुट (जैसे सिस्टम प्रॉम्प्ट या टूल स्कीमा) के विश्लेषण को कैश (store) करने की अनुमति देती है।
• महत्व: यह उन मामलों में बहुत उपयोगी है जहाँ सिस्टम प्रॉम्प्ट या टूल स्कीमा बहुत लंबे होते हैं (उदाहरण के लिए, 1024 टोकन की सीमा से अधिक)।
• लाभ:
• जेनरेशन की लागत (Cost) कम होती है।
• टेक्स्ट जनरेशन की गति (Speed) बढ़ जाती है।

कैशिंग को सक्षम करना (Implementation):

• सिस्टम प्रॉम्प्ट के लिए:
• chat function में एक नया cache point जोड़ें।
• इस cache point का प्रकार (type) default सेट करें।
• इससे सिस्टम प्रॉम्प्ट को डिफ़ॉल्ट रूप से कैश किया जा सकता है।
• टूल स्कीमा (Tool Schemas) के लिए:
• टूल स्कीमा की सूची को एक नई वेरिएबल में रखें (जैसे tools with cache)।
• इस सूची में भी cache point (type default) का उपयोग करें।
• निरीक्षण (Inspection):
• रिस्पॉन्स ऑब्जेक्ट में usage फ़ील्ड को शामिल करें। यह फ़ील्ड बताता है कि कैशिंग सफलतापूर्वक हो रही है या नहीं।

कैशिंग का व्यवहार (Caching Behavior):

• पहला अनुरोध (First Request):
• जब कोई नया सिस्टम प्रॉम्प्ट दिया जाता है, तो मॉडल उसका विश्लेषण करता है और कैश में स्टोर करता है।
• इस दौरान cache write दिखाई देता है।
• अगला अनुरोध (Subsequent Request):
• यदि सिस्टम प्रॉम्प्ट नहीं बदला गया है और अनुरोध 5 मिनट के भीतर किया जाता है, तो मॉडल कैश से पहले से किया गया विश्लेषण पढ़ता है।
• इस दौरान cache read दिखाई देता है।
• सिस्टम प्रॉम्प्ट में बदलाव:
• यदि सिस्टम प्रॉम्प्ट में कोई बदलाव किया जाता है, तो मॉडल उसे नया मानता है और फिर से विश्लेषण करता है।
• परिणामस्वरूप, cache write फिर से होता है।
• समय सीमा (Time Limit):
• यदि 5 मिनट तक कोई अनुरोध नहीं किया जाता है, तो कैश एंट्री स्वचालित रूप से साफ़ (cleared) हो जाती है।

निष्कर्ष:

• प्रॉम्प्ट कैशिंग का उपयोग मुख्य रूप से सिस्टम प्रॉम्प्ट और टूल स्कीमा को कैश करने के लिए किया जाता है, क्योंकि ये अक्सर लंबे होते हैं और इन्हें बार-बार प्रोसेस करने से लागत और समय दोनों बढ़ता है।

Takeaways

• प्रॉम्प्ट कैशिंग एक तकनीक है जो लंबे इनपुट (जैसे सिस्टम प्रॉम्प्ट या टूल स्कीमा) को कैश करती है, जिससे जेनरेशन की लागत कम होती है और गति बढ़ती है।
• इसे सक्षम करने के लिए सिस्टम प्रॉम्प्ट और टूल स्कीमा में cache point (type default) जोड़ा जाता है।
• पहले अनुरोध पर मॉडल विश्लेषण को कैश में लिखता है (cache write), और 5 मिनट के भीतर बिना बदलाव के अगले अनुरोध पर कैश से पढ़ता है (cache read)।
• यदि सिस्टम प्रॉम्प्ट में कोई बदलाव होता है, तो मॉडल उसे नया मानता है और फिर से विश्लेषण करता है (cache write होता है)।
• 5 मिनट तक कोई अनुरोध न होने पर कैश एंट्री स्वचालित रूप से साफ़ (cleared) हो जाती है।