A typical eval workflow

प्रॉम्प्ट इवैल्यूएशन वर्कफ़्लो (Prompt Evaluation Workflow) के मुख्य बिंदु

• वर्कफ़्लो की प्रकृति:
• प्रॉम्प्ट इवैल्यूएशन के लिए कोई एक मानक (standard) पद्धति नहीं है; कई तरीके अपनाए जा सकते हैं।
• इस कार्य को लागू करने के लिए विभिन्न ओपन-सोर्स और पेड टूल उपलब्ध हैं।
• शुरुआत में छोटे स्तर पर कस्टम वर्कफ़्लो बनाना सीखें ताकि जटिल समाधान की आवश्यकता न पड़े।

• प्रॉम्प्ट इवैल्यूएशन के चरण (Steps):

• प्रारंभिक प्रॉम्प्ट ड्राफ्ट (Initial Prompt Draft):
• वह मूल प्रॉम्प्ट लिखें जिसे आप सुधारना चाहते हैं (उदाहरण: "कृपया उपयोगकर्ता के प्रश्न का उत्तर दें")।

• इवैल्यूएशन डेटा सेट बनाना (Create Evaluation Data Set):
• यह डेटा सेट उन सभी संभावित इनपुट (जैसे, उपयोगकर्ता के प्रश्न) की सूची होता है जिन्हें आप प्रॉम्प्ट में डालना चाहते हैं।
• वास्तविक दुनिया में, इस डेटा सेट में सैकड़ों या हजारों रिकॉर्ड हो सकते हैं।

• जनरेशन (Generation):
• डेटा सेट के प्रत्येक इनपुट को प्रॉम्प्ट के साथ जोड़कर AI मॉडल (जैसे Claude) को फीड करें।
• परिणामस्वरूप, आपको प्रत्येक इनपुट के लिए एक वास्तविक प्रतिक्रिया (Response) प्राप्त होगी।

• ग्रेडिंग/स्कोरिंग (Grading/Scoring):
• प्रत्येक प्रश्न और उससे मिली प्रतिक्रिया को एक साथ जोड़कर एक 'ग्रेडर' (Grader) को फीड किया जाता है।
• ग्रेडर प्रतिक्रिया की गुणवत्ता के आधार पर एक स्कोर देता है (उदाहरण: 1 से 10 तक)।

• एग्रीगेशन (Aggregation):
• सभी व्यक्तिगत स्कोर को जोड़कर उनका औसत (Average) निकाला जाता है।
• यह औसत स्कोर बताता है कि मूल प्रॉम्प्ट ने कितना अच्छा प्रदर्शन किया।

• पुनरावृत्ति और सुधार (Iteration and Refinement):
• प्राप्त स्कोर के आधार पर प्रॉम्प्ट में बदलाव करें (जैसे, अधिक विवरण जोड़ना)।
• इस नए प्रॉम्प्ट को पूरे पाइपलाइन से फिर से चलाएं।
• दोनों प्रॉम्प्ट के स्कोर की तुलना करके यह निर्धारित करें कि कौन सा संस्करण बेहतर है।

Takeaways

• प्रॉम्प्ट इवैल्यूएशन के लिए कोई एकल मानक पद्धति नहीं है; शुरुआत छोटे और कस्टम वर्कफ़्लो से करना चाहिए।
• इस वर्कफ़्लो में एक प्रारंभिक प्रॉम्प्ट ड्राफ्ट तैयार करना और उसके लिए एक व्यापक इवैल्यूएशन डेटा सेट बनाना आवश्यक है।
• AI मॉडल को डेटा सेट के साथ प्रॉम्प्ट फीड करके प्रतिक्रिया (Response) जनरेट की जाती है, जिसे एक 'ग्रेडर' द्वारा स्कोर दिया जाता है।
• सभी व्यक्तिगत स्कोर का औसत (Aggregation) निकालकर मूल प्रॉम्प्ट के प्रदर्शन का आकलन किया जाता है।
• प्राप्त स्कोर के आधार पर प्रॉम्प्ट में सुधार (Iteration and Refinement) किया जाता है और पूरी प्रक्रिया को दोहराया जाता है।