Prompt evaluation

प्रॉम्प्ट इंजीनियरिंग और प्रॉम्प्ट मूल्यांकन: मुख्य अध्ययन नोट्स

• मुख्य विषय: प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering) और प्रॉम्प्ट मूल्यांकन (Prompt Evaluation)।
• उद्देश्य: Claude से सर्वोत्तम संभव आउटपुट प्राप्त करने के लिए प्रभावी प्रॉम्प्ट लिखना और सुनिश्चित करना।

**1. प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering)**

• परिभाषा: प्रॉम्प्ट लिखने या संपादित करने के लिए उपयोग की जाने वाली तकनीकों का एक समूह।
• कार्य: यह Claude की सहायता करता है कि वह उपयोगकर्ता की मांग को समझ सके और वांछित तरीके से प्रतिक्रिया दे।

**2. प्रॉम्प्ट मूल्यांकन (Prompt Evaluation)**

• परिभाषा: प्रॉम्प्ट का स्वचालित परीक्षण (automated testing) करना।
• लक्ष्य: एक वस्तुनिष्ठ मीट्रिक (objective metric) प्राप्त करना जो यह बताए कि प्रॉम्प्ट कितना प्रभावी है।
• फोकस: इस अध्ययन में मुख्य रूप से प्रॉम्प्ट मूल्यांकन पर ध्यान दिया जाएगा।

**3. प्रॉम्प्ट लेखन के तीन संभावित रास्ते** जब कोई प्रॉम्प्ट लिखा जाता है, तो तीन विकल्प होते हैं:

• विकल्प 1: प्रॉम्प्ट का एक या दो बार परीक्षण करना और उसे सीधे उत्पादन (production) में उपयोग करना।
• (चेतावनी: यह एक सामान्य जाल है; पर्याप्त परीक्षण नहीं होता।)
• विकल्प 2: कस्टम इनपुट के साथ प्रॉम्प्ट का परीक्षण करना और कुछ विशेष स्थितियों (corner cases) के लिए उसमें सुधार करना।
• (चेतावनी: यह भी एक जाल है; परीक्षण सीमित होता है।)
• विकल्प 3 (अनुशंसित): प्रॉम्प्ट को एक मूल्यांकन पाइपलाइन (evaluation pipeline) के माध्यम से चलाना।
• प्रक्रिया: वस्तुनिष्ठ स्कोर प्राप्त करना → प्रॉम्प्ट के प्रदर्शन का आकलन करना → प्रदर्शन को बेहतर बनाने के लिए प्रॉम्प्ट में सुधार करना (Iterate)।

Takeaways

• प्रॉम्प्ट इंजीनियरिंग वह तकनीक है जिसका उपयोग Claude से वांछित आउटपुट प्राप्त करने के लिए प्रॉम्प्ट लिखने या संपादित करने हेतु किया जाता है।
• प्रॉम्प्ट मूल्यांकन प्रॉम्प्ट की प्रभावशीलता को मापने के लिए उसका स्वचालित परीक्षण (automated testing) करना है, जिससे एक वस्तुनिष्ठ मीट्रिक प्राप्त होता है।
• केवल एक या दो बार प्रॉम्प्ट का परीक्षण करना पर्याप्त नहीं होता; यह एक सामान्य जाल है क्योंकि यह सीमित होता है।
• अनुशंसित तरीका प्रॉम्प्ट को एक मूल्यांकन पाइपलाइन के माध्यम से चलाना है, जहाँ स्कोर के आधार पर प्रदर्शन को बेहतर बनाने के लिए प्रॉम्प्ट में सुधार (Iterate) किया जाता है।