Prompt evaluation

मुख्य अवधारणाएँ (Key Concepts):

• प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering):
• यह प्रॉम्प्ट को लिखने या संपादित करने के लिए उपयोग की जाने वाली तकनीकों का एक समूह है।
• उद्देश्य: Claude को यह समझने में सहायता करना कि उपयोगकर्ता क्या पूछ रहा है और उसे किस प्रकार का उत्तर देना है।

• प्रॉम्प्ट मूल्यांकन (Prompt Evaluation):
• यह प्रॉम्प्ट का स्वचालित परीक्षण (Automated testing) करने की प्रक्रिया है।
• उद्देश्य: एक वस्तुनिष्ठ मीट्रिक (objective metric) प्राप्त करना जो यह बताए कि प्रॉम्प्ट कितना प्रभावी है।

• प्रॉम्प्ट लेखन प्रक्रिया में मूल्यांकन का महत्व:
• प्रॉम्प्ट लिखते समय तीन संभावित रास्ते होते हैं:
• विकल्प 1: प्रॉम्प्ट का एक या दो बार परीक्षण करना और उसे उत्पादन (production) के लिए उपयोग करना।
• विकल्प 2: अपने कस्टम इनपुट से प्रॉम्प्ट का परीक्षण करना और छोटे सुधार करना।
• विकल्प 3 (अनुशंसित): प्रॉम्प्ट को एक मूल्यांकन पाइपलाइन (evaluation pipeline) के माध्यम से चलाना।
• महत्व: विकल्प 3 से एक वस्तुनिष्ठ स्कोर मिलता है, जिससे प्रॉम्प्ट को और बेहतर बनाने (iterate) के लिए दिशा मिलती है।
• (नोट: विकल्प 1 और 2 को अक्सर इंजीनियरों द्वारा अपनाया जाने वाला एक जाल (trap) बताया गया है।)

Takeaways

• प्रॉम्प्ट इंजीनियरिंग प्रॉम्प्ट को लिखने या संपादित करने की तकनीकों का समूह है, जिसका उद्देश्य AI को स्पष्ट निर्देश देना है।
• प्रॉम्प्ट मूल्यांकन प्रॉम्प्ट का स्वचालित परीक्षण (Automated testing) करने की प्रक्रिया है।
• इसका मुख्य उद्देश्य प्रॉम्प्ट की प्रभावशीलता को मापने के लिए एक वस्तुनिष्ठ मीट्रिक (objective metric) प्राप्त करना है।
• प्रॉम्प्ट को बेहतर बनाने (iterate) के लिए, मूल्यांकन पाइपलाइन का उपयोग करना सबसे अनुशंसित तरीका है, न कि केवल मैन्युअल परीक्षण करना।