Structured data exercise

विषय: LLM में Message Prefilling और Stop Sequences का उपयोग

यह नोट्स LLM (जैसे Claude) का उपयोग करके वांछित और स्वच्छ आउटपुट प्राप्त करने की तकनीकों पर आधारित हैं।

मुख्य अवधारणाएँ:

• Message Prefilling (संदेश प्रीफिलिंग):
• यह मॉडल को यह मार्गदर्शन देने के लिए उपयोग किया जाता है कि उसे किस तरह का आउटपुट देना है।
• यह केवल विशिष्ट वर्णों (जैसे बैक-टिक्स) तक सीमित नहीं है; इसमें विस्तृत निर्देश भी शामिल हो सकते हैं।
• उद्देश्य: मॉडल को प्रारंभिक टिप्पणी (commentary) या अनावश्यक टेक्स्ट से बचाना।

• Stop Sequences (स्टॉप सीक्वेंस):
• ये वे विशिष्ट अनुक्रम होते हैं जो मॉडल को बताते हैं कि उसे आउटपुट जनरेट करना कब बंद कर देना है।
• उदाहरण के लिए, ` (तीन बैक-टिक्स) का उपयोग मॉडल को कोड ब्लॉक शुरू करने और वहीं रुकने का संकेत देता है।

समस्याएँ और समाधान:

• समस्या 1: भाषा पहचानकर्ता (Language Identifier) का स्वतः जुड़ना:
• जब हम का उपयोग करते हैं, तो मॉडल अक्सर सिंटैक्स हाइलाइटिंग के लिए स्वचालित रूप से एक भाषा पहचानकर्ता (जैसे bash`) जोड़ देता है।
• समाधान: प्रीफिल्ड संदेश में ही वांछित भाषा पहचानकर्ता (जैसे bash) को शामिल करें ताकि मॉडल को स्पष्ट हो जाए कि वह किस प्रकार का कोड लिख रहा है।

• समस्या 2: अनावश्यक टिप्पणियाँ और एकाधिक ब्लॉक:
• मॉडल कभी-कभी कोड के साथ अतिरिक्त टिप्पणियाँ (comments) या कई अलग-अलग कोड ब्लॉक उत्पन्न कर सकता है।
• समाधान: प्रीफिल्ड संदेश में बहुत स्पष्ट और मजबूत निर्देश दें।
• उदाहरण: "Here are all three commands in a single block without any comments. "
• यह निर्देश मॉडल को एक ही, स्वच्छ आउटपुट देने के लिए मजबूर करता है।

निष्कर्ष:

• सफल आउटपुट प्राप्त करने के लिए, Message Prefilling का उपयोग केवल संरचना (structure) के लिए नहीं, बल्कि मॉडल को व्यवहार (behavior) और गुणवत्ता (quality) के बारे में स्पष्ट निर्देश देने के लिए किया जाना चाहिए।
• Stop Sequences आउटपुट की सीमा निर्धारित करते हैं।

Takeaways

• Message Prefilling का उपयोग मॉडल को केवल संरचना नहीं, बल्कि उसके व्यवहार और आउटपुट की गुणवत्ता के बारे में स्पष्ट निर्देश देने के लिए किया जाना चाहिए।
• Stop Sequences वे विशिष्ट अनुक्रम हैं जो मॉडल को बताते हैं कि आउटपुट जनरेट करना कब बंद करना है, जिससे आउटपुट की सीमा निर्धारित होती है।
• भाषा पहचानकर्ता (Language Identifier) के स्वतः जुड़ने की समस्या से बचने के लिए, वांछित भाषा को प्रीफिल्ड संदेश में ही शामिल करें।
• अनावश्यक टिप्पणियों या एकाधिक कोड ब्लॉक से बचने के लिए, प्रीफिल्ड संदेश में बहुत स्पष्ट और मजबूत निर्देश दें।