A Multi-Index RAG pipeline

मुख्य अवधारणाएँ (Key Concepts)

• हाइब्रिड सर्च (Hybrid Search):
• यह सिमेंटिक सर्च (Semantic Search - वेक्टर इंडेक्स) और लेक्सिकल सर्च (Lexical Search - BM25 इंडेक्स) जैसी विभिन्न सर्च पद्धतियों को एक साथ जोड़कर बेहतर परिणाम प्राप्त करने की प्रक्रिया है।
• रिट्रीवर क्लास (Retriever Class):
• यह एक नया क्लास है जो सर्च पाइपलाइन को मैनेज करता है।
• यह यूजर के प्रश्न (Query) को लेता है और उसे सभी अंतर्निहित इंडेक्स (जैसे वेक्टर इंडेक्स और BM25 इंडेक्स) को भेजता है।
• यह सभी इंडेक्स से प्राप्त परिणामों को प्राप्त करता है और उन्हें मर्ज (Merge) करता है।
• API की एकरूपता (API Consistency):
• सफलतापूर्वक रिट्रीवर बनाने के लिए, सभी सर्च इंडेक्स (जैसे वेक्टर इंडेक्स और BM25 इंडेक्स) का पब्लिक API लगभग समान होना चाहिए।
• आवश्यक मेथड्स: add_document और search।
• परिणाम विलय की तकनीक (Result Merging Technique):
• विभिन्न सर्च पद्धतियों से प्राप्त परिणामों को संयोजित करने के लिए रिसीप्रोकल रैंक फ्यूजन (Reciprocal Rank Fusion - RRF) का उपयोग किया जाता है।
• RRF कैसे काम करता है:
• सभी सर्च परिणामों को एक ही तालिका (Table) में एकत्र करें।
• प्रत्येक दस्तावेज़ के लिए, प्रत्येक इंडेक्स से प्राप्त रैंक (Rank) को रिकॉर्ड करें।
• प्रत्येक दस्तावेज़ के लिए एक स्कोर की गणना करें।
• RRF फॉर्मूला: स्कोर = (एक बटा एक प्लस रैंक_i) का योग (Sum of (1 / (1 + Rank_i)))।
• सभी दस्तावेज़ों को इस गणना किए गए स्कोर के आधार पर घटते क्रम (Greatest to Least) में सॉर्ट करें।
• लाभ (Benefits):
• मॉड्यूलरिटी (Modularity): प्रत्येक इंडेक्स को अलग क्लास के रूप में बनाया जा सकता है।
• विस्तारशीलता (Extensibility): यदि कोई नया सर्च इंडेक्स जोड़ा जाता है, तो बस यह सुनिश्चित करना होता है कि उसका API समान हो, और उसे आसानी से रिट्रीवर में शामिल किया जा सकता है।
• निष्कर्ष: हाइब्रिड अप्रोच (वेक्टर + BM25) व्यक्तिगत सर्च मेथड्स की तुलना में अधिक सटीक और बेहतर परिणाम देती है।

Takeaways

• हाइब्रिड सर्च सिमेंटिक सर्च (वेक्टर इंडेक्स) और लेक्सिकल सर्च (BM25 इंडेक्स) को एक साथ जोड़कर बेहतर परिणाम प्राप्त करता है।
• रिट्रीवर क्लास सर्च पाइपलाइन को मैनेज करता है, जो यूजर के प्रश्न को सभी अंतर्निहित इंडेक्स को भेजता है और परिणामों को मर्ज करता है।
• सफलता के लिए सभी सर्च इंडेक्स का पब्लिक API समान होना चाहिए, जिसमें add_document और search मेथड्स शामिल हों।
• विभिन्न सर्च पद्धतियों से प्राप्त परिणामों को संयोजित करने के लिए रेसिप्रोकल रैंक फ्यूजन (RRF) का उपयोग किया जाता है।
• RRF फॉर्मूला है: स्कोर = (एक बटा एक प्लस रैंक_i) का योग।