Rules of prompt caching

प्रॉम्प्ट कैशिंग (Prompt Caching) - मुख्य अध्ययन नोट्स

💡 मूल अवधारणा (Core Concept):

• प्रॉम्प्ट कैशिंग का मुख्य उद्देश्य CLOD द्वारा किए गए प्रोसेसिंग कार्य को सहेजना है, ताकि भविष्य में समान इनपुट मिलने पर उस कार्य को दोबारा न करना पड़े।
• यह एक दो-चरणीय प्रक्रिया है:
• प्रारंभिक अनुरोध (Initial Request): CLOD संदेश को प्रोसेस करता है और उस कार्य को अस्थायी कैश में सहेजता है।
• अनुवर्ती अनुरोध (Follow-up Request): यदि भविष्य में बिल्कुल समान संदेश आता है, तो CLOD कैश से पहले से सहेजा गया कार्य लोड कर लेता है।

⚙️ कार्यप्रणाली और नियंत्रण (Mechanism and Control):

• कैश पॉइंट (Cache Point): प्रॉम्प्ट कैशिंग को सक्षम और नियंत्रित करने के लिए एक नया संदेश भाग (message part) है।
• कार्य: जब संदेश में कैश पॉइंट शामिल होता है, तो यह CLOD को बताता है कि संदेश में उस बिंदु तक किए गए सभी कार्यों को कैश किया जाना चाहिए।
• कार्य की सीमा: कैशिंग केवल तभी काम करती है जब कैश पॉइंट से पहले का पूरा कंटेंट (संदेश) बिल्कुल समान हो।
• अस्थायी प्रकृति: कैश में सहेजा गया कार्य स्थायी नहीं होता; यह केवल पाँच मिनट के लिए संग्रहीत रहता है।

✅ उपयोग और नियम (Usage and Rules):

• उपयोगिता: यह तब सबसे अधिक उपयोगी होता है जब आप बार-बार एक ही सामग्री (content) CLOD को भेज रहे हों।
• कैश पॉइंट का दायरा: कैश पॉइंट का उपयोग केवल एक संदेश या एक टेक्स्ट पार्ट तक सीमित नहीं है; इसे कई अलग-अलग संदेशों, पार्ट्स और असिस्टेंट संदेशों पर किए गए कार्यों को कैश करने के लिए उपयोग किया जा सकता है।
• न्यूनतम टोकन आवश्यकता: CLOD द्वारा कार्य को कैश करने के लिए, कैश पॉइंट से पहले कम से कम 1024 टोकन की सामग्री होनी चाहिए।

🛠️ उन्नत उपयोग (Advanced Applications):

• प्रॉम्प्ट कैशिंग का उपयोग केवल टेक्स्ट पार्ट्स तक सीमित नहीं है।
• इसे टूल परिभाषा सूचियों (Tool Definition Lists) (जैसे JSON स्कीमा) पर भी लागू किया जा सकता है।
• इसे सिस्टम प्रॉम्प्ट (System Prompts) पर भी लागू किया जा सकता है।
• (नोट: टूल स्कीमा और सिस्टम प्रॉम्प्ट अक्सर स्थिर रहते हैं, इसलिए ये कैशिंग के लिए आदर्श स्थान हैं।)

Takeaways

• प्रॉम्प्ट कैशिंग का मुख्य उद्देश्य समान इनपुट मिलने पर CLOD द्वारा किए गए प्रोसेसिंग कार्य को सहेजना है ताकि उसे दोबारा न करना पड़े।
• यह 'कैश पॉइंट' नामक एक विशिष्ट संदेश भाग (message part) के माध्यम से नियंत्रित होता है, जो CLOD को बताता है कि किस बिंदु तक के कार्यों को कैश किया जाना है।
• कैशिंग के लिए संदेश का कंटेंट बिल्कुल समान होना चाहिए, और यह केवल पाँच मिनट के लिए अस्थायी रूप से संग्रहीत होता है।
• कार्य कैश करने के लिए कैश पॉइंट से पहले कम से कम 1024 टोकन की सामग्री होनी चाहिए, और यह टेक्स्ट के अलावा टूल परिभाषाओं और सिस्टम प्रॉम्प्ट पर भी लागू होता है।