Generating test datasets

प्रॉम्प्ट मूल्यांकन वर्कफ़्लो (Prompt Evaluation Workflow) के मुख्य नोट्स

**I. प्रॉम्प्ट का उद्देश्य और आउटपुट (Prompt Goal and Output)**

• लक्ष्य: उपयोगकर्ताओं को AWS उपयोग के मामलों (AWS use cases) के लिए विशिष्ट कोड लिखने में सहायता करना।
• इनपुट: उपयोगकर्ता द्वारा दिया गया कोई भी कार्य (Task)।
• संभावित आउटपुट (Possible Outputs): प्रॉम्प्ट को केवल तीन प्रकार के आउटपुट देना चाहिए:
• Python कोड
• JSON कॉन्फ़िगरेशन
• कच्चा रेगुलर एक्सप्रेशन (Raw Regular Expression)
• महत्वपूर्ण नियम: आउटपुट में कोई अतिरिक्त स्पष्टीकरण, हेडर या फुटर नहीं होना चाहिए।

**II. वर्कफ़्लो के चरण (Workflow Steps)**

• चरण 1: प्रॉम्प्ट ड्राफ्टिंग (Prompt Drafting): एक प्रारंभिक प्रॉम्प्ट तैयार करना (उदाहरण: "कृपया निम्नलिखित कार्य का समाधान प्रदान करें")।
• चरण 2: डेटा सेट असेंबल करना (Assembling the Data Set):
• डेटा सेट में इनपुट (Tasks) का एक संग्रह होता है।
• संरचना: JSON ऑब्जेक्ट की एक ऐरे (Array of JSON objects), जिसमें प्रत्येक ऑब्जेक्ट में एक task प्रॉपर्टी होती है।
• प्रक्रिया: प्रत्येक टास्क को प्रॉम्प्ट में डालकर LLM (Claude) के माध्यम से रन किया जाता है।
• सुझाव: डेटा सेट बनाने के लिए तेज़ मॉडल (जैसे Haiku) का उपयोग करना बेहतर है।

**III. डेटा सेट जनरेशन की तकनीक (Data Set Generation Technique)**

• स्वचालित जनरेशन: डेटा सेट को मैन्युअल रूप से बनाने के बजाय, Claude से ही जनरेट किया जा सकता है।
• जनरेशन प्रॉम्प्ट: एक विशेष प्रॉम्प्ट का उपयोग किया जाता है जो Claude को AWS से संबंधित टास्क जनरेट करने के लिए कहता है और उदाहरण (Example Output) प्रदान करता है।
• JSON निष्कर्षण (JSON Extraction):
• JSON आउटपुट को विश्वसनीय रूप से निकालने के लिए एक स्टॉप सीक्वेंस (Stop Sequence) और एक प्री-फिल्ड असिस्टेंट मैसेज (Pre-filled Assistant Message) का उपयोग किया जाता है।
• उदाहरण: असिस्टेंट मैसेज में json और स्टॉप सीक्वेंस में तीन बैक-टिक्स का उपयोग करना।
• पोस्ट-प्रोसेसिंग: प्राप्त टेक्स्ट को उपयोग करने योग्य JSON ऑब्जेक्ट में बदलने के लिए json. loads() फ़ंक्शन का उपयोग किया जाता है।

**IV. अंतिम चरण (Final Steps)**

• परीक्षण (Testing): जनरेट किए गए डेटा सेट की गुणवत्ता की जाँच करना।
• संग्रहण (Saving): भविष्य में बार-बार जनरेशन से बचने के लिए डेटा सेट को एक JSON फ़ाइल (dataset. json) में सहेजना।

Takeaways

• आउटपुट केवल Python कोड, JSON कॉन्फ़िगरेशन, या कच्चा रेगुलर एक्सप्रेशन होना चाहिए; इसमें कोई अतिरिक्त स्पष्टीकरण या हेडर नहीं होना चाहिए।
• डेटा सेट इनपुट (Tasks) का एक संग्रह होता है, जिसकी संरचना JSON ऑब्जेक्ट की ऐरे होती है, जिसमें प्रत्येक ऑब्जेक्ट में एक task प्रॉपर्टी होती है।
• डेटा सेट को मैन्युअल रूप से बनाने के बजाय Claude का उपयोग करके स्वचालित रूप से जनरेट किया जा सकता है।
• विश्वसनीय JSON निष्कर्षण के लिए एक स्टॉप सीक्वेंस और एक प्री-फिल्ड असिस्टेंट मैसेज का उपयोग किया जाता है, जिसके बाद json. loads() से पोस्ट-प्रोसेसिंग की जाती है।
• वर्कफ़्लो में प्रॉम्प्ट ड्राफ्टिंग, डेटा सेट असेंबल करना, जनरेशन, और अंत में डेटा सेट का परीक्षण तथा संग्रहण शामिल है।