Generating test datasets

प्रॉम्प्ट मूल्यांकन वर्कफ़्लो (Prompt Evaluation Workflow) के मुख्य बिंदु

• लक्ष्य (Goal): एक कस्टम प्रॉम्प्ट बनाना जो उपयोगकर्ताओं को AWS उपयोग के मामलों के लिए विशिष्ट कोड लिखने में सहायता करे।
• आवश्यक आउटपुट प्रकार (Required Outputs): प्रॉम्प्ट को केवल तीन प्रकार के आउटपुट देना चाहिए:
• Python कोड
• JSON कॉन्फ़िगरेशन
• एक कच्चा (raw) रेगुलर एक्सप्रेशन (Regular Expression)
• आउटपुट की सीमा (Output Constraint): आउटपुट में कोई अतिरिक्त स्पष्टीकरण, हेडर, फुटर या कोई अन्य टेक्स्ट नहीं होना चाहिए।
• डेटासेट निर्माण (Dataset Assembly):
• डेटासेट में इनपुट (Input) और प्रॉम्प्ट (Prompt) का एक सेट होता है।
• यह एक JSON ऑब्जेक्ट की ऐरे (Array) होता है, जहाँ प्रत्येक ऑब्जेक्ट में एक task प्रॉपर्टी होती है।
• प्रक्रिया: टास्क → प्रॉम्प्ट में फीड करना → Claude से परिणाम प्राप्त करना।
• डेटासेट जनरेशन (Dataset Generation):
• डेटासेट को मैन्युअल रूप से या Claude का उपयोग करके स्वचालित रूप से बनाया जा सकता है।
• तेज़ मॉडल (जैसे Haiku) का उपयोग डेटासेट बनाने के लिए एक अच्छा विकल्प है।
• तकनीकी कार्यान्वयन (Technical Implementation):
• प्रॉम्प्ट डिज़ाइन: एक बड़ा प्रॉम्प्ट तैयार किया जाता है जो Claude को विभिन्न टेस्ट केस (Tasks) उत्पन्न करने के लिए कहता है।
• API कॉल संरचना:
• संदेशों की एक सूची (List of messages) तैयार की जाती है।
• इसमें उपयोगकर्ता का प्रॉम्प्ट (User message) और सहायक संदेश (Assistant message) शामिल होता है।
• स्टॉप सीक्वेंस (Stop Sequence): आउटपुट को नियंत्रित करने के लिए विशिष्ट स्टॉप सीक्वेंस (जैसे json`) का उपयोग किया जाता है।
• डेटा प्रोसेसिंग: प्राप्त टेक्स्ट को json. loads() फ़ंक्शन का उपयोग करके JSON में पार्स (Parse) किया जाता है।
• अंतिम चरण (Final Step): मूल्यांकन के लिए तैयार डेटासेट को एक फ़ाइल (जैसे dataset. json) में सहेजा जाता है।

Takeaways

• प्रॉम्प्ट का मुख्य लक्ष्य AWS उपयोग के मामलों के लिए केवल तीन विशिष्ट आउटपुट (Python कोड, JSON कॉन्फ़िगरेशन, और कच्चा रेगुलर एक्सप्रेशन) देना है, जिसमें कोई अतिरिक्त टेक्स्ट नहीं होना चाहिए।
• डेटासेट इनपुट (Task) और प्रॉम्प्ट का एक JSON ऐरे होता है, जिसे मैन्युअल या तेज़ मॉडल (जैसे Haiku) का उपयोग करके स्वचालित रूप से बनाया जा सकता है।
• तकनीकी कार्यान्वयन में API कॉल के लिए संदेशों की एक सूची (User और Assistant) तैयार की जाती है, और आउटपुट को नियंत्रित करने के लिए स्टॉप सीक्वेंस (जैसे `json) का उपयोग किया जाता है।