Exercise on prompt evals

मुख्य अवधारणाएँ (Key Concepts):

• उद्देश्य (Objective): मॉडल ग्रेडर (Model Grader) की कार्यक्षमता को बेहतर बनाना, ताकि वह एक 'अच्छे समाधान' (Good Solution) की पहचान कर सके।
• कार्यप्रणाली (Methodology): इस सुधार के लिए दो मुख्य चरणों का पालन किया जाता है।

चरण 1: डेटासेट जनरेशन में सुधार (Improving Dataset Generation)

• बदलाव: डेटासेट बनाने वाले प्रॉम्प्ट (Prompt) में बदलाव करना।
• क्रिया (Action): प्रॉम्प्ट में यह निर्देश देना कि प्रत्येक टेस्ट केस (Test Case) के साथ 'समाधान मानदंड' (Solution Criteria) भी शामिल किया जाए।
• परिणाम: अब हर टेस्ट केस में एक अतिरिक्त कुंजी (Key) होगी, जिसे solution criteria कहा जाएगा, जो बताता है कि एक अच्छा समाधान कैसा दिखना चाहिए।

चरण 2: मॉडल ग्रेडिंग प्रॉम्प्ट में सुधार (Improving Model Grading Prompt)

• बदलाव: मॉडल ग्रेडर के प्रॉम्प्ट में बदलाव करना।
• क्रिया (Action): पहले चरण में प्राप्त 'समाधान मानदंड' (Solution Criteria) को ग्रेडिंग प्रॉम्प्ट में शामिल करना।
• उद्देश्य: यह मॉडल ग्रेडर को स्पष्ट रूप से बताता है कि मूल्यांकन करते समय उसे किन विशेषताओं (Characteristics) पर ध्यान देना है।

निष्कर्ष (Conclusion):

• इन दोनों चरणों को लागू करने से मॉडल ग्रेडर का मूल्यांकन (Evaluation) अधिक विस्तृत और सटीक हो जाता है, जिससे आउटपुट की गुणवत्ता में सुधार होता है।

Takeaways

• मॉडल ग्रेडर की कार्यक्षमता को 'अच्छे समाधान' की पहचान करने के लिए बेहतर बनाया जा रहा है।
• डेटासेट जनरेशन में सुधार के लिए प्रत्येक टेस्ट केस में 'समाधान मानदंड' (Solution Criteria) शामिल किए गए।
• मॉडल ग्रेडिंग प्रॉम्प्ट में इन 'समाधान मानदंड' को शामिल किया गया ताकि मूल्यांकन स्पष्ट हो सके।
• इन चरणों से मॉडल ग्रेडर का मूल्यांकन अधिक विस्तृत और सटीक होता है।