Generating test datasets

प्रॉम्प्ट मूल्यांकन कार्यप्रवाह (Prompt Evaluation Workflow) के मुख्य बिंदु

यह नोट्स एक कस्टम प्रॉम्प्ट मूल्यांकन कार्यप्रवाह (workflow) के निर्माण पर आधारित हैं, जिसका उद्देश्य AWS उपयोग के मामलों के लिए कोड उत्पन्न करना है।

• प्रॉम्प्ट का लक्ष्य (Prompt Goal):
• उपयोगकर्ता द्वारा दिए गए कार्य (task) के आधार पर कोड लिखने में सहायता करना।
• आउटपुट हमेशा तीन विशिष्ट प्रकार का होना चाहिए:
• Python कोड
• JSON कॉन्फ़िगरेशन
• कच्चा रेगुलर एक्सप्रेशन (raw regular expression)
• महत्वपूर्ण नियम: आउटपुट में कोई अतिरिक्त स्पष्टीकरण, हेडर, फुटर या अन्य टेक्स्ट नहीं होना चाहिए।

• कार्यप्रवाह के चरण (Workflow Steps):
• चरण 1: प्रॉम्प्ट का मसौदा तैयार करना (Draft Prompt): एक प्रारंभिक प्रॉम्प्ट बनाना (जैसे: "कृपया निम्नलिखित कार्य का समाधान प्रदान करें")।
• चरण 2: डेटासेट असेंबल करना (Assemble Dataset):
• डेटासेट में इनपुट टास्क (inputs) होते हैं जिन्हें प्रॉम्प्ट में फीड किया जाता है।
• डेटासेट की संरचना: JSON ऑब्जेक्ट की एक ऐरे (array), जिसमें प्रत्येक ऑब्जेक्ट में एक task प्रॉपर्टी होती है।
• डेटासेट निर्माण: इसे मैन्युअल रूप से या Claude जैसे मॉडल का उपयोग करके स्वचालित रूप से (automatically) बनाया जा सकता है।

• कार्यान्वयन और तकनीक (Implementation & Technique):
• मॉडल का उपयोग: डेटासेट बनाने के लिए Claude जैसे मॉडल का उपयोग किया जाता है (तेज मॉडल जैसे Haiku का उपयोग अनुशंसित है)।
• API कॉल:
• messages की एक सूची (list) का उपयोग किया जाता है, जिसमें उपयोगकर्ता का प्रॉम्प्ट और सहायक संदेश (assistant message) शामिल होता है।
• स्टॉप सीक्वेंस (Stop Sequence): मॉडल को यह बताने के लिए कि आउटपुट कहाँ समाप्त करना है, एक स्टॉप सीक्वेंस (जैसे: `) का उपयोग किया जाता है।
• पार्किंग (Parsing): मॉडल से प्राप्त टेक्स्ट को JSON प्रारूप में बदलने के लिए json. loads का उपयोग किया जाता है।
• अंतिम चरण: मूल्यांकन के लिए तैयार डेटासेट को dataset. json जैसी फ़ाइल में सहेजा जाता है।

Takeaways

• आउटपुट हमेशा Python कोड, JSON कॉन्फ़िगरेशन और कच्चे रेगुलर एक्सप्रेशन में होना चाहिए, जिसमें कोई अतिरिक्त स्पष्टीकरण या टेक्स्ट नहीं होना चाहिए।
• इनपुट टास्क को एक संरचित डेटासेट (JSON ऑब्जेक्ट की ऐरे) के रूप में तैयार किया जाता है, जिसे मैन्युअल या स्वचालित रूप से बनाया जाता है।
• मॉडल (जैसे Claude) का उपयोग करते समय, आउटपुट को नियंत्रित करने के लिए स्टॉप सीक्वेंस और प्राप्त टेक्स्ट को JSON में बदलने के लिए json. loads का उपयोग आवश्यक है।
• प्रॉम्प्ट मूल्यांकन कार्यप्रवाह प्रॉम्प्ट ड्राफ्टिंग से शुरू होकर डेटासेट असेंबल करने और अंतिम मूल्यांकन के लिए सहेजने तक चलता है।