Contextual retrieval

RAG पाइपलाइन में कॉन्टेक्स्टुअल रिट्रीवल (Contextual Retrieval) के नोट्स

• समस्या (The Problem): जब मूल दस्तावेज़ को छोटे खंडों (chunks) में विभाजित किया जाता है, तो प्रत्येक खंड में मूल दस्तावेज़ का व्यापक संदर्भ (context) खो जाता है।
• समाधान (The Solution): कॉन्टेक्स्टुअल रिट्रीवल एक प्री-प्रोसेसिंग तकनीक है जो प्रत्येक टेक्स्ट खंड को इंडेक्स करने से पहले उसे अतिरिक्त संदर्भ प्रदान करती है।
• कार्यप्रणाली (The Mechanism):
• प्रत्येक व्यक्तिगत टेक्स्ट खंड को मूल स्रोत दस्तावेज़ के साथ एक प्रॉम्प्ट में डाला जाता है।
• इस प्रॉम्प्ट को LLM (जैसे Claude) को भेजा जाता है।
• LLM को निर्देश दिया जाता है कि वह खंड और पूरे दस्तावेज़ के आधार पर उस खंड के लिए अतिरिक्त संदर्भ (situational context) लिखे।
• इस अतिरिक्त संदर्भ को मूल खंड के साथ जोड़कर एक 'कॉन्टेक्स्टुअलाइज़्ड चंक' बनाया जाता है।
• इस कॉन्टेक्स्टुअलाइज़्ड चंक को वेक्टर इंडेक्स और BM25 इंडेक्स में डाला जाता है।
• बड़े दस्तावेज़ों के लिए रणनीति (Strategy for Large Documents):
• यदि स्रोत दस्तावेज़ इतना बड़ा है कि वह एक ही प्रॉम्प्ट में फिट नहीं हो सकता, तो पूरे दस्तावेज़ का उपयोग न करें।
• इसके बजाय, LLM को संदर्भ देने के लिए केवल रणनीतिक खंडों का उपयोग करें:
• स्टार्टर चंक्स: दस्तावेज़ की शुरुआत के कुछ खंड (जो सारांश या परिचय दे सकते हैं)।
• प्रीसीडिंग चंक्स: उस खंड से ठीक पहले के कुछ खंड (जो स्थानीय संदर्भ प्रदान करते हैं)।
• लाभ (Benefits): यह तकनीक जटिल दस्तावेज़ों में बेहतर परिणाम देती है, खासकर उन दस्तावेज़ों में जहाँ विभिन्न खंडों के बीच मजबूत संबंध (ties) होते हैं।

Takeaways

• मूल दस्तावेज़ को छोटे खंडों (chunks) में विभाजित करने पर संदर्भ (context) खो जाता है, जिसे कॉन्टेक्स्टुअल रिट्रीवल हल करता है।
• कॉन्टेक्स्टुअल रिट्रीवल में LLM का उपयोग करके प्रत्येक टेक्स्ट खंड को अतिरिक्त 'situational context' प्रदान किया जाता है।
• इस प्रक्रिया से एक 'कॉन्टेक्स्टुअलाइज़्ड चंक' बनता है, जिसे वेक्टर और BM25 इंडेक्स में डाला जाता है।
• बड़े दस्तावेज़ों के लिए, पूरे दस्तावेज़ के बजाय 'स्टार्टर चंक्स' और 'प्रीसीडिंग चंक्स' जैसे रणनीतिक खंडों का उपयोग किया जाता है।
• यह तकनीक जटिल दस्तावेज़ों में बेहतर परिणाम देती है, खासकर जहाँ खंडों के बीच मजबूत संबंध होते हैं।