Rules of prompt caching

प्रॉम्प्ट कैशिंग (Prompt Caching) के मुख्य नोट्स

• मूल अवधारणा: प्रॉम्प्ट कैशिंग का उद्देश्य प्रारंभिक अनुरोध (initial request) पर किए गए प्रोसेसिंग कार्य को एक अस्थायी कैश में सहेजना है।
• कार्यप्रणाली:
• पहला अनुरोध → clod प्रोसेसिंग करता है → कार्य अस्थायी कैश में सहेजा जाता है।
• भविष्य का समान अनुरोध → clod कैश में पहले से सहेजे गए कार्य को लोड करता है, जिससे प्रोसेसिंग का प्रयास बच जाता है।
• कैश की अवधि: कैश में सहेजा गया डेटा स्थायी नहीं होता; यह केवल पाँच मिनट के लिए संग्रहीत रहता है।
• उपयोगिता: यह तब सबसे अधिक उपयोगी होता है जब आप बार-बार एक ही सामग्री (content) को clod को भेजते हैं।
• सक्षम करना (Enabling): प्रॉम्प्ट कैशिंग डिफ़ॉल्ट रूप से सक्षम नहीं होती है। इसे सक्रिय करने के लिए, संदेश के भीतर किसी ब्लॉक में मैन्युअल रूप से एक 'कैश ब्रेकपॉइंट' (cache breakpoint) जोड़ना आवश्यक है।
• कार्यान्वयन (Implementation):
• कैश कंट्रोल (cache control) का उपयोग करने के लिए, टेक्स्ट फ़ील्ड को 'लॉन्ग फॉर्म' (long form) में लिखना आवश्यक है।
• शॉर्ट फॉर्म में कैश कंट्रोल जोड़ने के लिए जगह नहीं होती।
• कैश का दायरा (Scope): एक ब्रेकपॉइंट उस बिंदु तक की सभी सामग्री को कैश करता है, जिसमें वह ब्रेकपॉइंट स्वयं शामिल होता है।
• लागू होने वाले ब्लॉक: कैश ब्रेकपॉइंट को केवल टेक्स्ट ब्लॉक तक सीमित नहीं रखा गया है। इसे निम्नलिखित पर भी जोड़ा जा सकता है:
• संदेश ब्लॉक (Message blocks)
• इमेज ब्लॉक (Image blocks)
• टूल यूज़ (Tool use)
• टूल रिजल्ट (Tool result)
• टूल स्कीमा (Tool schemas)
• सिस्टम प्रॉम्प्ट (System prompts)
• प्रोसेसिंग का क्रम: clod में सामग्री इस क्रम में जुड़ी होती है: टूल → सिस्टम प्रॉम्प्ट → संदेश (Messages)।
• ब्रेकपॉइंट की संख्या: कुल चार (4) तक कैश ब्रेकपॉइंट जोड़े जा सकते हैं।
• न्यूनतम सामग्री की लंबाई: कैश करने के लिए सामग्री की न्यूनतम लंबाई 1024 टोकन होनी चाहिए।

Takeaways

• प्रॉम्प्ट कैशिंग प्रारंभिक अनुरोध के प्रोसेसिंग कार्य को अस्थायी रूप से सहेजती है, जिससे भविष्य के समान अनुरोधों पर प्रोसेसिंग का प्रयास बच जाता है।
• यह डिफ़ॉल्ट रूप से सक्षम नहीं होती; इसे सक्रिय करने के लिए संदेश के भीतर मैन्युअल रूप से 'कैश ब्रेकपॉइंट' जोड़ना आवश्यक है।
• कैश की अवधि केवल पाँच मिनट तक सीमित होती है, और कैश करने के लिए सामग्री की न्यूनतम लंबाई 1024 टोकन होनी चाहिए।
• कैश ब्रेकपॉइंट को केवल टेक्स्ट ब्लॉक तक सीमित नहीं रखा गया है, बल्कि इसे मैसेज, इमेज, टूल यूज़ और सिस्टम प्रॉम्प्ट जैसे विभिन्न ब्लॉकों पर भी जोड़ा जा सकता है।