Introducing Retrieval Augmented Generation

RAG (Retrieval Augmented Generation) पर अध्ययन नोट्स

परिचय:

• RAG एक ऐसी तकनीक है जिसका उपयोग बहुत बड़े दस्तावेज़ों (जैसे 100 से 1000 पेज) से विशिष्ट जानकारी निकालकर LLM (जैसे Claude) को प्रदान करने के लिए किया जाता है, ताकि वह उपयोगकर्ता के प्रश्नों का सटीक उत्तर दे सके।

समस्या और समाधान (दो विकल्प):

विकल्प 1: पूरा दस्तावेज़ प्रॉम्प्ट में डालना (Naive Approach)

• प्रक्रिया: उपयोगकर्ता का प्रश्न + दस्तावेज़ का पूरा टेक्स्ट → LLM प्रॉम्प्ट में।
• नुकसान:
• LLM की इनपुट टेक्स्ट की सीमा (Hard Limit) होती है; लंबे दस्तावेज़ विफल हो सकते हैं।
• प्रॉम्प्ट जितना लंबा होता है, LLM के लिए उसे समझना उतना ही कठिन होता है।
• प्रोसेसिंग में अधिक समय लगता है और लागत बढ़ती है।

विकल्प 2: RAG का उपयोग करना (Retrieval Augmented Generation)

• प्रक्रिया: यह एक दो-चरणीय (Two-step) प्रक्रिया है।
• चरण 1 (Chunking/Pre-processing): पूरे दस्तावेज़ को छोटे-छोटे हिस्सों (Chunks) में तोड़ना।
• चरण 2 (Retrieval & Generation): उपयोगकर्ता के प्रश्न के आधार पर, सबसे प्रासंगिक (Relevant) छोटे हिस्से (Chunks) को खोजकर, केवल उन्हीं को प्रॉम्प्ट में शामिल करना।
• लाभ (Upsides):
• LLM केवल प्रासंगिक सामग्री पर ध्यान केंद्रित करता है।
• यह बहुत बड़े और कई दस्तावेज़ों के साथ काम कर सकता है।
• प्रॉम्प्ट छोटा होता है → प्रोसेसिंग में कम समय लगता है और लागत कम आती है।

RAG की चुनौतियाँ और कमियाँ (Downsides):

• जटिलता (Complexity): इसमें प्री-प्रोसेसिंग (Chunking) और प्रासंगिक हिस्सों को खोजने (Searching) के लिए एक अतिरिक्त तंत्र की आवश्यकता होती है।
• संदर्भ की गारंटी नहीं: केवल प्रासंगिक हिस्से चुनने से यह गारंटी नहीं है कि LLM को उत्तर देने के लिए आवश्यक सभी संदर्भ मिल जाएंगे।
• Chunking की विविधता: टेक्स्ट को विभाजित करने के कई तरीके हैं (जैसे समान भागों में या हेडर के आधार पर), जिसके लिए मूल्यांकन (Evaluation) आवश्यक है।

निष्कर्ष:

• RAG एक शक्तिशाली तकनीक है, लेकिन इसे लागू करने के लिए विकल्प 1 की तुलना में अधिक तकनीकी कार्य और विश्लेषण की आवश्यकता होती है।

Takeaways

• RAG एक ऐसी तकनीक है जो बहुत बड़े दस्तावेज़ों से विशिष्ट जानकारी निकालकर LLM को प्रदान करती है, ताकि वह सटीक उत्तर दे सके।
• RAG की प्रक्रिया दो चरणों में होती है: दस्तावेज़ को छोटे हिस्सों (Chunks) में तोड़ना और फिर प्रश्न के आधार पर सबसे प्रासंगिक हिस्सों को खोजना।
• यह LLM को केवल प्रासंगिक सामग्री पर ध्यान केंद्रित करने में मदद करता है, जिससे प्रोसेसिंग का समय और लागत कम होती है।
• RAG को लागू करने के लिए अतिरिक्त तंत्र की आवश्यकता होती है और यह गारंटी नहीं देता कि उत्तर के लिए आवश्यक सभी संदर्भ मिल जाएंगे।