Exercise on prompt evals

विषय: मॉडल ग्रेडर को बेहतर बनाने के लिए प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering to Improve Model Grader)

मुख्य उद्देश्य: मॉडल ग्रेडर (Model Grader) की सटीकता और गुणवत्ता में सुधार करना, ताकि उसे पता चले कि एक 'अच्छा समाधान' कैसा दिखता है।

कार्यप्रणाली (दो चरण):

• चरण 1: डेटासेट जनरेशन प्रॉम्प्ट में बदलाव
• डेटासेट बनाने वाले मूल प्रॉम्प्ट (Prompt) में संशोधन करें।
• प्रत्येक टेस्ट केस के लिए 'समाधान मानदंड' (Solution Criteria) शामिल करने का अनुरोध करें।
• परिणाम: अब हर टेस्ट केस में एक अतिरिक्त कुंजी (Key) होगी जो बताती है कि एक अच्छा समाधान कैसा होना चाहिए।

• चरण 2: ग्रेडिंग प्रॉम्प्ट में बदलाव
• 'मॉडल द्वारा ग्रेडिंग' (Grade by Model) वाले प्रॉम्प्ट को संशोधित करें।
• मूल कार्य (Task) और उत्पन्न समाधान (Generated Solution) के तुरंत बाद, नए 'समाधान मानदंड' (Solution Criteria) को डालें।
• उद्देश्य: मॉडल ग्रेडर को स्पष्ट निर्देश देना कि उसे समाधान का मूल्यांकन करते समय किन विशेषताओं पर ध्यान देना है।

निष्कर्ष:

• इन दो चरणों का पालन करके, मॉडल ग्रेडर को संदर्भ (Context) मिलता है, जिससे उसका मूल्यांकन और तर्क (Reasoning) अधिक विस्तृत और सटीक हो जाता है।

Takeaways

• मॉडल ग्रेडर की सटीकता सुधारने के लिए प्रॉम्प्ट इंजीनियरिंग का उपयोग किया जाता है।
• डेटासेट जनरेशन प्रॉम्प्ट में प्रत्येक टेस्ट केस के लिए 'समाधान मानदंड' (Solution Criteria) शामिल करें।
• ग्रेडिंग प्रॉम्प्ट में, मूल कार्य और समाधान के तुरंत बाद 'समाधान मानदंड' डालें।
• इन चरणों से मॉडल ग्रेडर को आवश्यक संदर्भ मिलता है, जिससे उसका मूल्यांकन और तर्क अधिक सटीक होता है।