A typical eval workflow

प्रॉम्प्ट मूल्यांकन वर्कफ़्लो (Prompt Evaluation Workflow) के मुख्य नोट्स

• वर्कफ़्लो की प्रकृति: प्रॉम्प्ट मूल्यांकन के लिए कोई एक निश्चित या मानक (standard) पद्धति नहीं है। वर्कफ़्लो को विभिन्न तरीकों से असेंबल किया जा सकता है।
• उपलब्ध संसाधन: इस कार्य को लागू करने के लिए कई ओपन-सोर्स और पेड (paid) पैकेज उपलब्ध हैं।
• लक्ष्य: इस मॉड्यूल में, हम एक कस्टम वर्कफ़्लो को स्क्रैच से (शून्य से) एक Jupyter Notebook के अंदर लागू करना सीखेंगे।
• मूल वर्कफ़्लो के चरण (Steps):

• प्रारंभिक प्रॉम्प्ट ड्राफ्ट (Initial Prompt Draft): सुधार के लिए एक शुरुआती प्रॉम्प्ट लिखना।
• मूल्यांकन डेटासेट बनाना (Evaluation Dataset Creation): उन सभी संभावित इनपुट (जैसे प्रश्न) की एक सूची तैयार करना जिन्हें प्रॉम्प्ट में डाला जाएगा।
• निष्पादन और प्रतिक्रिया (Execution & Response):
• प्रत्येक इनपुट प्रश्न को प्रॉम्प्ट के साथ जोड़ना।
• इस पूर्ण प्रॉम्प्ट को LLM (जैसे Claude) में फीड करना → वास्तविक प्रतिक्रिया (Response) प्राप्त करना।
• ग्रेडिंग/स्कोरिंग (Grading/Scoring):
• प्रत्येक प्रश्न और उसके प्राप्त उत्तर को एक साथ जोड़ना।
• एक 'Grader' (अक्सर एक अन्य LLM) का उपयोग करना जो उत्तर की गुणवत्ता के आधार पर स्कोर देता है (उदाहरण के लिए, 1 से 10 तक)।
• स्कोर का एकत्रीकरण (Aggregation): सभी प्राप्त व्यक्तिगत स्कोर को जोड़ना और उनका औसत (Average) निकालना।
• पुनरावृत्ति और सुधार (Iteration & Improvement):
• प्राप्त औसत स्कोर के आधार पर प्रॉम्प्ट में बदलाव करना (जैसे अधिक विवरण जोड़ना)।
• सुधारित प्रॉम्प्ट के साथ पूरी प्रक्रिया को दोहराना और पुराने प्रॉम्प्ट के स्कोर से तुलना करना।

Takeaways

• प्रॉम्प्ट मूल्यांकन के लिए कोई निश्चित मानक पद्धति नहीं है; वर्कफ़्लो को आवश्यकतानुसार कस्टम तरीके से बनाया जा सकता है।
• मूल वर्कफ़्लो में प्रारंभिक प्रॉम्प्ट ड्राफ्ट करना, मूल्यांकन डेटासेट तैयार करना और LLM में निष्पादन शामिल है।
• प्रतिक्रिया की गुणवत्ता मापने के लिए एक 'Grader' (अक्सर एक अन्य LLM) का उपयोग किया जाता है, जो स्कोर प्रदान करता है।
• प्राप्त व्यक्तिगत स्कोर का एकत्रीकरण (Aggregation) करके औसत निकाला जाता है।
• अंतिम लक्ष्य प्राप्त औसत स्कोर के आधार पर प्रॉम्प्ट में सुधार करना और प्रक्रिया को दोहराना है।