A Multi-index RAG pipeline

मुख्य अवधारणाएँ (Key Concepts):

• हाइब्रिड सर्च पाइपलाइन (Hybrid Search Pipeline):
• सिमेंटिक सर्च (Semantic Search) और लेक्सिकल सर्च (Lexical Search) जैसी विभिन्न सर्च कार्यक्षमताओं को एक साथ जोड़ने के लिए एक नई क्लास, जिसे Retriever कहा जाता है, का उपयोग किया जाता है।
• Retriever क्लास उपयोगकर्ता के प्रश्न को विभिन्न इंडेक्स (जैसे वेक्टर इंडेक्स और BM25 इंडेक्स) को भेजती है और फिर प्राप्त परिणामों को मर्ज करती है।

• API की आवश्यकता (API Requirement):
• सफलतापूर्वक एक साथ काम करने के लिए, सभी सर्च कार्यात्मकताओं (Search Functionalities) का पब्लिक API लगभग समान होना चाहिए।
• उदाहरण के लिए, सभी इंडेक्स में add document और search जैसे समान मेथड्स होने चाहिए।

• परिणामों का विलय (Result Merging):
• विभिन्न सर्च पद्धतियों से प्राप्त परिणामों को संयोजित करने के लिए रेसिप्रोकल रैंक फ्यूजन (Reciprocal Rank Fusion - RRF) नामक तकनीक का उपयोग किया जाता है।

• रेसिप्रोकल रैंक फ्यूजन (RRF) की कार्यप्रणाली:
• चरण 1: सभी सर्च स्रोतों से प्राप्त परिणामों और उनके संबंधित रैंक (Rank) को एक ही तालिका में सूचीबद्ध करें।
• चरण 2: प्रत्येक रैंक कॉलम के लिए एक अलग टर्म (Term) की गणना करें।
• चरण 3: प्रत्येक टर्म का सूत्र है: एक बटा (1 + रैंक) → (1 / (1 + Rank))।
• चरण 4: गणना किए गए स्कोर के आधार पर परिणामों को सबसे बड़े स्कोर से सबसे छोटे स्कोर तक सॉर्ट (Sort) करें।

• लाभ और मॉड्यूलरिटी (Benefits and Modularity):
• चूंकि प्रत्येक इंडेक्स एक समान API का पालन करता है, इसलिए उन्हें Retriever क्लास में आसानी से रैप (Wrap) किया जा सकता है।
• यह डिज़ाइन भविष्य में किसी भी नई सर्च इंडेक्स को आसानी से जोड़ने की अनुमति देता है, बशर्ते वह समान API का पालन करे।
• हाइब्रिड दृष्टिकोण का उपयोग करने से अकेले किसी एक सर्च तकनीक की तुलना में सर्च की सटीकता (Accuracy) में सुधार होता है।

Takeaways

• हाइब्रिड सर्च पाइपलाइन में Retriever क्लास सिमेंटिक और लेक्सिकल सर्च जैसी विभिन्न कार्यक्षमताओं को एक साथ जोड़ती है।
• सफलतापूर्वक काम करने के लिए सभी सर्च फंक्शनैलिटी का पब्लिक API (जैसे search, add document) समान होना आवश्यक है।
• विभिन्न सर्च पद्धतियों से प्राप्त परिणामों को संयोजित करने के लिए रेसिप्रोकल रैंक फ्यूजन (RRF) तकनीक का उपयोग किया जाता है।
• समान API के कारण नई सर्च इंडेक्स को आसानी से जोड़ा जा सकता है, जिससे सर्च की सटीकता (Accuracy) में सुधार होता है।