Code based grading

कोड ग्रेडर (Code Grader) के मुख्य अध्ययन बिंदु

• कोड ग्रेडर का उद्देश्य: मॉडल के आउटपुट की जाँच करना ताकि यह सुनिश्चित हो सके कि आउटपुट केवल सादा Python, JSON, या Regular Expression (RegEx) हो, और उसमें कोई अतिरिक्त स्पष्टीकरण (explanation) न हो।
• सिंटैक्स सत्यापन (Syntax Validation):
• सिंटैक्स की जाँच के लिए तीन सहायक फ़ंक्शन (helper functions) का उपयोग किया जाता है: validateJSON, validatePython, और validateRegEx।
• कार्यप्रणाली: मॉडल के आउटपुट को JSON के रूप में पार्स करने, Python Abstract Syntax Tree (AST) के रूप में लोड करने, या RegEx के रूप में कंपाइल करने का प्रयास किया जाता है।
• स्कोरिंग: यदि पार्सिंग/लोडिंग सफल होती है, तो पूर्ण स्कोर 10 मिलता है। यदि त्रुटि (error) आती है, तो स्कोर 0 होता है।
• डेटासेट की आवश्यकता:
• टेस्ट केस डेटासेट में एक format कुंजी (key) शामिल होनी चाहिए।
• यह कुंजी बताती है कि अपेक्षित आउटपुट का प्रारूप क्या है (जैसे: "JSON", "Python", या "regex")।
• कार्यान्वयन के चरण (Implementation Steps):
• सत्यापन फ़ंक्शन जोड़ना: validateJSON, validatePython, और validateRegEx फ़ंक्शन के साथ एक सामान्य grade_syntax फ़ंक्शन जोड़ा जाता है।
• डेटासेट अपडेट करना: डेटासेट में format कुंजी जोड़ी जाती है ताकि ग्रेडिंग फ़ंक्शन सही सत्यापनकर्ता (validator) को कॉल कर सके।
• प्रॉम्प्ट टेम्पलेट अपडेट करना: प्रॉम्प्ट को संशोधित किया जाता है ताकि मॉडल केवल JSON, Python, या RegEx में ही प्रतिक्रिया दे और कोई टिप्पणी या स्पष्टीकरण न जोड़े।
• स्कोर मर्ज करना: अंतिम स्कोर प्राप्त करने के लिए मॉडल स्कोर और सिंटैक्स स्कोर का औसत निकाला जाता है।
• सूत्र: स्कोर = (मॉडल स्कोर + सिंटैक्स स्कोर) / 2

Takeaways

• कोड ग्रेडर का मुख्य उद्देश्य यह सुनिश्चित करना है कि मॉडल का आउटपुट केवल सादा Python, JSON, या RegEx हो, जिसमें कोई अतिरिक्त स्पष्टीकरण न हो।
• सिंटैक्स सत्यापन के लिए validateJSON, validatePython, और validateRegEx जैसे सहायक फ़ंक्शन उपयोग किए जाते हैं; सफल पार्सिंग पर 10 अंक मिलते हैं, त्रुटि पर 0।
• टेस्ट केस डेटासेट में अपेक्षित आउटपुट का प्रारूप बताने के लिए format कुंजी (जैसे "JSON" या "Python") शामिल होनी चाहिए।
• अंतिम स्कोर मॉडल स्कोर और सिंटैक्स स्कोर का औसत होता है: स्कोर = (मॉडल स्कोर + सिंटैक्स स्कोर) / 2।