Prompt evaluation

प्रॉम्प्ट इंजीनियरिंग और प्रॉम्प्ट मूल्यांकन (Prompt Engineering and Prompt Evaluation)

• मुख्य उद्देश्य: क्लॉड (Claude) से सर्वोत्तम संभव आउटपुट प्राप्त करने के लिए प्रॉम्प्ट लिखना और उसे बेहतर बनाना।

• प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering):
• यह प्रॉम्प्ट लिखने या संपादित करने की तकनीकों का एक समूह है।
• इसका उद्देश्य क्लॉड को यह समझने में सहायता करना है कि उपयोगकर्ता उससे क्या पूछ रहा है और वह किस प्रकार की प्रतिक्रिया देना चाहता है।

• प्रॉम्प्ट मूल्यांकन (Prompt Evaluation):
• यह प्रॉम्प्ट के स्वचालित परीक्षण (automated testing) की प्रक्रिया है।
• इसका लक्ष्य एक वस्तुनिष्ठ मीट्रिक (objective metric) प्राप्त करना है जो यह बताता है कि प्रॉम्प्ट कितना प्रभावी है।

• प्रॉम्प्ट लिखने के बाद के तीन संभावित रास्ते:
• विकल्प 1: प्रॉम्प्ट को एक या दो बार टेस्ट करना और उसे उत्पादन (production) के लिए तैयार मान लेना। (यह एक जोखिम भरा तरीका है।)
• विकल्प 2: अपने कस्टम इनपुट के साथ प्रॉम्प्ट का परीक्षण करना और छोटी-मोटी सुधार करना। (यह भी अपर्याप्त है।)
• विकल्प 3 (अनुशंसित): प्रॉम्प्ट को एक मूल्यांकन पाइपलाइन (evaluation pipeline) के माध्यम से चलाना।
• परिणाम: एक वस्तुनिष्ठ स्कोर प्राप्त होता है जो प्रदर्शन बताता है।
• अगला कदम: प्रॉम्प्ट को और बेहतर बनाने के लिए उस पर पुनरावृत्ति (iterate) करना।

Takeaways

• प्रॉम्प्ट इंजीनियरिंग क्लॉड से सर्वोत्तम आउटपुट प्राप्त करने के लिए प्रॉम्प्ट लिखने और संपादित करने की तकनीकों का समूह है।
• प्रॉम्प्ट मूल्यांकन एक स्वचालित परीक्षण प्रक्रिया है जिसका उद्देश्य प्रॉम्प्ट की प्रभावशीलता का एक वस्तुनिष्ठ मीट्रिक प्राप्त करना है।
• केवल त्वरित परीक्षण (quick tests) करना अपर्याप्त है; प्रॉम्प्ट को हमेशा एक मूल्यांकन पाइपलाइन के माध्यम से चलाना चाहिए।
• मूल्यांकन पाइपलाइन से प्राप्त वस्तुनिष्ठ स्कोर का उपयोग प्रॉम्प्ट को और बेहतर बनाने के लिए पुनरावृत्ति (iteration) करने हेतु किया जाता है।