Code based grading

कोड ग्रेडिंग (Code Grading) के मुख्य अवधारणाएँ

• कोड ग्रेडर का उद्देश्य: मॉडल के आउटपुट की जाँच करना ताकि यह सुनिश्चित हो सके कि प्रतिक्रिया केवल सादा Python, JSON, या Regular Expression (RegEx) हो, और उसमें कोई अतिरिक्त स्पष्टीकरण न हो।
• सिंटैक्स वैलिडेशन (Syntax Validation):
• तीन सहायक फ़ंक्शन (Helper Functions) बनाए जाते हैं: validateJSON, validatePython, और validateRegEx।
• कार्यप्रणाली: प्रत्येक फ़ंक्शन मॉडल के आउटपुट को संबंधित प्रारूप (JSON parsing, Python AST, या RegEx compilation) के रूप में लोड करने का प्रयास करता है।
• स्कोरिंग:
• सफलतापूर्वक पार्स/लोड होने पर: पूर्ण स्कोर (10) मिलता है।
• त्रुटि (Error) होने पर: सिंटैक्स चेक विफल माना जाता है और स्कोर (0) मिलता है।
• डेटासेट में आवश्यक परिवर्तन:
• टेस्ट केस डेटासेट में एक format कुंजी (Key) जोड़ी जाती है।
• यह कुंजी ग्रेडर को बताती है कि आउटपुट किस प्रारूप (जैसे: "JSON", "Python", या "RegEx") में होना चाहिए।
• प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering) में सुधार:
• प्रॉम्प्ट को अपडेट किया जाता है ताकि मॉडल को स्पष्ट निर्देश मिले कि वह केवल वांछित प्रारूप (Python, JSON, या RegEx) में ही प्रतिक्रिया दे और कोई टिप्पणी या स्पष्टीकरण न जोड़े।
• तकनीक: एक प्री-फिल्ड असिस्टेंट मैसेज और एक क्लोजिंग स्टॉप सीक्वेंस (जैसे ) का उपयोग किया जाता है ताकि आउटपुट केवल कोड तक सीमित रहे।
• अंतिम स्कोर की गणना (Score Merging):
• अंतिम स्कोर की गणना मॉडल ग्रेडर स्कोर और सिंटैक्स ग्रेडर स्कोर को मिलाकर की जाती है।
• सूत्र: अंतिम स्कोर = (मॉडल स्कोर + सिंटैक्स स्कोर) / 2
• निष्कर्ष: कोड ग्रेडिंग लागू करने के लिए फ़ंक्शन, डेटासेट और प्रॉम्प्ट तीनों में समन्वित बदलाव आवश्यक हैं।

Takeaways

• कोड ग्रेडर का मुख्य उद्देश्य यह सुनिश्चित करना है कि मॉडल का आउटपुट केवल सादा Python, JSON, या RegEx हो, जिसमें कोई अतिरिक्त स्पष्टीकरण न हो।
• सिंटैक्स वैलिडेशन के लिए सहायक फ़ंक्शन (जैसे validateJSON) का उपयोग किया जाता है; सफल पार्सिंग पर 10 और त्रुटि पर 0 स्कोर दिया जाता है।
• कार्यान्वयन के लिए, टेस्ट डेटासेट में आउटपुट प्रारूप बताने वाली format कुंजी जोड़ी जाती है और प्रॉम्प्ट को सख्त निर्देश दिए जाते हैं ताकि मॉडल केवल वांछित प्रारूप में प्रतिक्रिया दे।
• अंतिम स्कोर की गणना मॉडल ग्रेडर स्कोर और सिंटैक्स ग्रेडर स्कोर को मिलाकर की जाती है: अंतिम स्कोर = (मॉडल स्कोर + सिंटैक्स स्कोर) / 2।