Code based grading

कोड ग्रेडर (Code Grader) के मुख्य नोट्स

यह नोट्स मॉडल आउटपुट की सटीकता और सिंटैक्स (Syntax) को जाँचने के लिए कोड ग्रेडर के कार्यान्वयन (implementation) पर आधारित हैं।

🎯 कोड ग्रेडर का उद्देश्य

• कार्य: मॉडल द्वारा दिए गए आउटपुट की जाँच करना कि वह केवल सादा Python, JSON, या Regular Expression (RegEx) है, और उसका सिंटैक्स वैध (valid) है या नहीं।
• परिणाम: यदि आउटपुट सही फॉर्मेट और वैध सिंटैक्स का है, तो पूर्ण स्कोर (10) दिया जाता है; अन्यथा, स्कोर शून्य (0) होता है।

🛠️ सत्यापन (Validation) की प्रक्रिया

• सहायक फ़ंक्शन (Helper Functions): तीन मुख्य फ़ंक्शन बनाए जाते हैं:
• validateJSON
• validatePython
• validateRegEx
• कार्यप्रणाली: प्रत्येक फ़ंक्शन मॉडल के आउटपुट को संबंधित फॉर्मेट में पार्स (parse) या कंपाइल (compile) करने का प्रयास करता है।
• सफलता: यदि पार्स/लोड सफल होता है → स्कोर 10।
• विफलता: यदि पार्सिंग के दौरान कोई त्रुटि (error) आती है → स्कोर 0।

📝 डेटासेट और प्रॉम्प्ट में आवश्यक बदलाव

• डेटासेट अपडेट: टेस्ट केस डेटासेट में एक format कुंजी (key) जोड़ना आवश्यक है।
• यह कुंजी बताती है कि उस विशिष्ट टास्क के लिए अपेक्षित आउटपुट फॉर्मेट क्या है (जैसे: 'JSON', 'Python', या 'RegEx')।
• प्रॉम्प्ट टेम्पलेट अपडेट: प्रॉम्प्ट को संशोधित करना ताकि मॉडल केवल वांछित आउटपुट (JSON, Python, या RegEx) ही दे, और कोई अतिरिक्त टिप्पणी (commentary) या स्पष्टीकरण न दे।
• आउटपुट नियंत्रण: आउटपुट को केवल रॉ कंटेंट (raw content) तक सीमित रखने के लिए Python में प्री-फिल्ड असिस्टेंट मैसेज और क्लोजिंग स्टॉप सीक्वेंस का उपयोग किया जाता है।

⚙️ कार्यान्वयन के चरण (Implementation Steps)

• फ़ंक्शन जोड़ना: JSON, Python, और RegEx के लिए तीनों वैलिडेटर फ़ंक्शंस और एक सामान्य grade_syntax फ़ंक्शन को कोड में जोड़ना।
• डेटासेट अपडेट करना: प्रत्येक टेस्ट केस में format कुंजी शामिल करना।
• प्रॉम्प्ट को सख्त बनाना: मॉडल को केवल विशिष्ट फॉर्मेट में प्रतिक्रिया देने के लिए निर्देश देना।
• स्कोर मर्ज करना: मॉडल ग्रेडर के स्कोर और सिंटैक्स ग्रेडर के स्कोर को मिलाना।
• अंतिम स्कोर: (मॉडल स्कोर + सिंटैक्स स्कोर) / 2 (दोनों का औसत)।

Takeaways

• कोड ग्रेडर का मुख्य कार्य मॉडल आउटपुट की सटीकता और सिंटैक्स (Python, JSON, या RegEx) की जाँच करना है।
• सत्यापन के लिए validateJSON, validatePython, और validateRegEx जैसे सहायक फ़ंक्शन आउटपुट को पार्स या कंपाइल करते हैं।
• टेस्ट केस डेटासेट में अपेक्षित आउटपुट फॉर्मेट निर्दिष्ट करने के लिए format कुंजी जोड़ना अनिवार्य है।
• अंतिम स्कोर मॉडल ग्रेडर और सिंटैक्स ग्रेडर के स्कोर का औसत होता है।