Introducing Retrieval Augmented Generation

RAG (Retrieval Augmented Generation) पर अध्ययन नोट्स

परिचय:

• RAG एक तकनीक है जिसका उपयोग बहुत बड़े दस्तावेज़ों (जैसे 100-1000 पृष्ठों की वित्तीय रिपोर्ट) से विशिष्ट प्रश्नों के उत्तर प्राप्त करने के लिए किया जाता है।
• इसका मुख्य उद्देश्य LLM (जैसे Claude) को केवल प्रासंगिक जानकारी प्रदान करना है ताकि वह सटीक उत्तर दे सके।

समस्या और समाधान (दो विकल्प):

**1. विकल्प 1: संपूर्ण दस्तावेज़ को प्रॉम्प्ट में डालना (Naive Approach)**

• प्रक्रिया: पूरे दस्तावेज़ के टेक्स्ट को सीधे प्रॉम्प्ट में डालना।
• सीमाएँ (Downsides):
• सीमा (Limit): LLM द्वारा स्वीकार किए जाने वाले टेक्स्ट की एक निश्चित सीमा होती है। लंबे दस्तावेज़ इस सीमा को पार कर जाते हैं।
• प्रभावशीलता में कमी: प्रॉम्प्ट जितना लंबा होता है, LLM के लिए सटीक उत्तर देना उतना ही कठिन हो जाता है।
• लागत और समय: बड़े प्रॉम्प्ट को प्रोसेस करने में अधिक समय और अधिक लागत आती है।

**2. विकल्प 2: RAG तकनीक का उपयोग (Retrieval Augmented Generation)**

• प्रक्रिया: यह एक दो-चरणीय (Two-step) प्रक्रिया है।
• चरण 1: इंडेक्सिंग/चंकिंग (Chunking):
• पूरे दस्तावेज़ को छोटे-छोटे, प्रबंधनीय टुकड़ों (Chunks) में तोड़ना।
• चरण 2: पुनर्प्राप्ति और उत्तर देना (Retrieval & Generation):
• उपयोगकर्ता का प्रश्न पूछा जाता है।
• एक अतिरिक्त चरण में, प्रश्न के लिए सबसे प्रासंगिक टेक्स्ट चंक को खोजा जाता है (Retrieval)।
• केवल उस प्रासंगिक चंक को प्रॉम्प्ट में शामिल किया जाता है → LLM उस छोटे, केंद्रित डेटा के आधार पर उत्तर देता है।

RAG के लाभ और चुनौतियाँ:

लाभ (Upsides):

• स्केलेबिलिटी: यह बहुत बड़े दस्तावेज़ों और कई दस्तावेज़ों से काम कर सकता है।
• दक्षता: प्रॉम्प्ट छोटा होता है → प्रोसेसिंग का समय कम लगता है और लागत कम आती है।
• फोकस: LLM केवल प्रासंगिक सामग्री पर ध्यान केंद्रित करता है।

चुनौतियाँ (Downsides):

• जटिलता: इसमें प्री-प्रोसेसिंग (Chunking) और प्रासंगिक जानकारी खोजने के लिए एक सर्च मैकेनिज्म की आवश्यकता होती है।
• संदर्भ का नुकसान (Context Loss): यह गारंटी नहीं है कि एक छोटा चंक प्रश्न का पूरा संदर्भ प्रदान करेगा।
• चंकिंग की विधि: चंक को विभाजित करने के कई तरीके हैं (जैसे समान भागों में या हेडर के आधार पर), जिसके लिए मूल्यांकन आवश्यक है।

Takeaways

• RAG (Retrieval Augmented Generation) एक तकनीक है जो LLM को बहुत बड़े दस्तावेज़ों से सटीक उत्तर देने के लिए केवल प्रासंगिक जानकारी प्रदान करती है।
• पूरे दस्तावेज़ को प्रॉम्प्ट में डालना (Naive Approach) LLM की सीमा और उच्च लागत के कारण प्रभावी नहीं होता।
• RAG एक दो-चरणीय प्रक्रिया है: दस्तावेज़ को छोटे टुकड़ों (Chunking) में तोड़ना और फिर प्रश्न के लिए सबसे प्रासंगिक चंक को खोजकर LLM को देना (Retrieval & Generation)।
• RAG का मुख्य लाभ स्केलेबिलिटी और दक्षता है, क्योंकि यह केवल केंद्रित डेटा पर काम करता है।
• RAG की एक चुनौती यह है कि छोटा चंक हमेशा प्रश्न का पूरा संदर्भ प्रदान नहीं कर सकता (Context Loss)।