Contextual retrieval

RAG पाइपलाइन में कॉन्टेक्स्टुअल रिट्रीवल (Contextual Retrieval)

• परिचय: कॉन्टेक्स्टुअल रिट्रीवल एक ऐसी तकनीक है जिसका उपयोग RAG (Retrieval-Augmented Generation) पाइपलाइन की सटीकता (accuracy) को बेहतर बनाने के लिए किया जाता है।
• समस्या: जब मूल स्रोत दस्तावेज़ (source document) को छोटे टुकड़ों (chunks) में विभाजित किया जाता है, तो प्रत्येक व्यक्तिगत टुकड़ा मूल दस्तावेज़ का व्यापक संदर्भ खो देता है।
• समाधान (प्रक्रिया):
• प्रत्येक टेक्स्ट चंक को रिट्रीवर डेटाबेस में डालने से पहले एक प्री-प्रोसेसिंग चरण जोड़ा जाता है।
• एक व्यक्तिगत चंक और मूल स्रोत दस्तावेज़ को एक प्रॉम्प्ट में LLM (जैसे Claude) को भेजा जाता है।
• LLM से अनुरोध किया जाता है कि वह चंक को बड़े दस्तावेज़ के संदर्भ में स्थापित करने के लिए अतिरिक्त टेक्स्ट (context) लिखे।
• परिणाम:
• LLM द्वारा उत्पन्न अतिरिक्त संदर्भ को मूल चंक टेक्स्ट के साथ जोड़ा जाता है।
• इस संयुक्त आउटपुट को कॉन्टेक्स्टुअलाइज़्ड चंक (Contextualized Chunk) कहा जाता है।
• इस कॉन्टेक्स्टुअलाइज़्ड चंक का उपयोग वेक्टर इंडेक्स और BM25 इंडेक्स के इनपुट के रूप में किया जाता है।
• बड़े दस्तावेज़ों के लिए रणनीति (Large Document Handling):
• यदि मूल दस्तावेज़ इतना बड़ा है कि वह एक ही प्रॉम्प्ट में फिट नहीं हो सकता, तो पूरे दस्तावेज़ के बजाय सीमित चंक्स का उपयोग किया जाता है।
• उपयोग किए जाने वाले चंक्स:
• दस्तावेज़ की शुरुआत से कुछ चंक्स (जो सारांश या परिचय प्रदान करते हैं)।
• लक्ष्य चंक से ठीक पहले के चंक्स (जो स्थानीय संदर्भ प्रदान करते हैं)।
• लाभ: यह तकनीक जटिल दस्तावेज़ों में, जहाँ विभिन्न खंडों के बीच मजबूत संबंध होते हैं, सटीकता (accuracy) को काफी बढ़ाती है।

Takeaways

• कॉन्टेक्स्टुअल रिट्रीवल RAG पाइपलाइन की सटीकता बढ़ाता है, क्योंकि यह छोटे चंक्स द्वारा मूल दस्तावेज़ के संदर्भ खोने की समस्या को हल करता है।
• इस प्रक्रिया में, LLM का उपयोग एक व्यक्तिगत चंक को बड़े दस्तावेज़ के संदर्भ में स्थापित करने के लिए अतिरिक्त टेक्स्ट (context) उत्पन्न करने हेतु किया जाता है।
• LLM द्वारा उत्पन्न संदर्भ और मूल चंक के संयोजन को कॉन्टेक्स्टुअलाइज़्ड चंक कहा जाता है, जिसका उपयोग वेक्टर और BM25 इंडेक्स के इनपुट के रूप में किया जाता है।
• बड़े दस्तावेज़ों को संभालने के लिए, केवल लक्ष्य चंक के आसपास के चंक्स (जैसे दस्तावेज़ की शुरुआत या स्थानीय संदर्भ वाले चंक्स) का उपयोग किया जाता है।