Prompt caching in action

प्रॉम्प्ट कैशिंग (Prompt Caching) के मुख्य अध्ययन बिंदु

• उद्देश्य: प्रॉम्प्ट कैशिंग का उपयोग समान इनपुट (जैसे सिस्टम प्रॉम्प्ट, टूल स्कीमा, या मैसेज लिस्ट) को बार-बार भेजने पर टोकन की खपत और लागत को कम करने के लिए किया जाता है।
• कैश किए जाने वाले घटक:
• सिस्टम प्रॉम्प्ट (System Prompt)
• टूल स्कीमा की सूची (List of Tool Schemas)
• मैसेज की सूची (List of Messages)
• टूल स्कीमा में कैशिंग लागू करना:
• टूल स्कीमा की सूची में अंतिम (last) टूल स्कीमा को संशोधित करना आवश्यक है।
• इसमें cache_control फ़ील्ड जोड़ें, जिसका प्रकार ephemeral (अस्थायी) होना चाहिए।
• सर्वोत्तम अभ्यास (Best Practice): मूल टूल सूची को बदलने से बचने के लिए, पहले टूल सूची की एक प्रति (clone) बनाएं, फिर उस प्रति के अंतिम टूल स्कीमा में कैश नियंत्रण फ़ील्ड जोड़ें।
• सिस्टम प्रॉम्प्ट में कैशिंग लागू करना:
• सिस्टम प्रॉम्प्ट इनपुट को एक टेक्स्ट ब्लॉक (dictionary) के रूप में संरचित किया जाता है।
• इसमें type: text, text: [सिस्टम प्रॉम्प्ट], और cache_control: ephemeral शामिल होना चाहिए।
• कैशिंग का क्रम (Caching Order):
• क्लाउड द्वारा इनपुट को संसाधित करते समय कैशिंग का क्रम इस प्रकार होता है: टूल → सिस्टम प्रॉम्प्ट → मैसेज लिस्ट।
• कैश ऑपरेशन:
• कैश रीड (Cache Read): जब इनपुट पहले से कैश में मौजूद होता है, तो सिस्टम कैश से डेटा पढ़ता है।
• कैश राइट (Cache Write): जब सिस्टम नया डेटा कैश में स्टोर करता है।
• कैश इनवैलिडेशन (Cache Invalidation):
• यदि टूल स्कीमा, सिस्टम प्रॉम्प्ट, या मैसेज लिस्ट में से कोई भी हिस्सा बदला जाता है, तो पिछला कैश डेटा अमान्य (invalidate) हो जाता है, और नया कैश राइट होता है।
• निष्कर्ष: प्रॉम्प्ट कैशिंग का उपयोग तब किया जाता है जब आप समान सामग्री (identical content) को बार-बार भेज रहे हों।

Takeaways

• प्रॉम्प्ट कैशिंग का मुख्य उद्देश्य समान इनपुट (जैसे सिस्टम प्रॉम्प्ट, टूल स्कीमा, या मैसेज लिस्ट) को बार-बार भेजकर टोकन की खपत और लागत को कम करना है।
• कैशिंग के लिए सिस्टम प्रॉम्प्ट, टूल स्कीमा और मैसेज लिस्ट जैसे घटकों का उपयोग किया जाता है।
• कैशिंग लागू करने के लिए इन घटकों में cache_control: ephemeral फ़ील्ड जोड़ना आवश्यक है।
• यदि टूल स्कीमा, सिस्टम प्रॉम्प्ट, या मैसेज लिस्ट में से कोई भी हिस्सा बदला जाता है, तो पिछला कैश डेटा अमान्य (invalidate) हो जाता है।