Exercise on prompt evals

विषय: मॉडल ग्रेडिंग को बेहतर बनाने की कार्यप्रणाली (Workflow for Improving Model Grading)

• मुख्य उद्देश्य: मॉडल ग्रेडर (Model Grader) की क्षमता को बढ़ाना, ताकि वह यह समझ सके कि एक 'अच्छा समाधान' (Good Solution) कैसा दिखना चाहिए।
• कार्यप्रणाली (Workflow): इस सुधार के लिए दो मुख्य चरणों का पालन किया जाता है।

चरण 1: डेटासेट जनरेशन में सुधार (Improving Dataset Generation)

• क्रिया: डेटासेट बनाने वाले मूल प्रॉम्प्ट (Prompt) में बदलाव करना।
• परिवर्तन: प्रॉम्प्ट में यह निर्देश देना कि हर टेस्ट केस (Test Case) के साथ 'समाधान मानदंड' (Solution Criteria) भी शामिल किए जाएं।
• परिणाम: अब प्रत्येक टेस्ट केस में एक अतिरिक्त कुंजी (Key) होगी जो बताती है कि एक अच्छा समाधान किन विशेषताओं को पूरा करेगा।

चरण 2: मॉडल ग्रेडिंग प्रॉम्प्ट में सुधार (Improving Model Grading Prompt)

• क्रिया: मॉडल ग्रेडर के प्रॉम्प्ट में बदलाव करना।
• परिवर्तन: नए उत्पन्न किए गए 'समाधान मानदंड' को ग्रेडिंग प्रॉम्प्ट में शामिल करना।
• स्थान: यह मानदंड मूल कार्य (Original Task) और मॉडल द्वारा दिए गए समाधान (Generated Solution) के ठीक बाद जोड़ा जाता है।
• अंतिम परिणाम: मॉडल ग्रेडर को स्पष्ट संदर्भ मिलता है, जिससे वह समाधान का मूल्यांकन अधिक सटीकता से और बेहतर तर्क (Reasoning) के साथ कर पाता है।

Takeaways

• मॉडल ग्रेडर की क्षमता बढ़ाना ताकि वह 'अच्छा समाधान' की पहचान कर सके।
• डेटासेट जनरेशन प्रॉम्प्ट में बदलाव करके हर टेस्ट केस के साथ 'समाधान मानदंड' (Solution Criteria) शामिल करना।
• इन 'समाधान मानदंडों' को मॉडल ग्रेडिंग प्रॉम्प्ट में जोड़ना, ताकि ग्रेडिंग को स्पष्ट संदर्भ मिल सके।
• अंतिम परिणाम: मॉडल ग्रेडर द्वारा समाधान का अधिक सटीकता से और बेहतर तर्क के साथ मूल्यांकन।