A multi-search RAG pipeline

मुख्य अवधारणाएँ (Key Concepts)

• हाइब्रिड सर्च पाइपलाइन (Hybrid Search Pipeline):
• सिमेंटिक सर्च (Semantic Search) और लेक्सिकल सर्च (Lexical Search) जैसी विभिन्न सर्च कार्यक्षमताओं को एक साथ जोड़ने के लिए एक नई क्लास, जिसे रिट्रीवर (Retriever) कहा जाता है, का उपयोग किया जाता है।
• रिट्रीवर उपयोगकर्ता के प्रश्न को विभिन्न इंडेक्स (जैसे वेक्टर इंडेक्स और BM25 इंडेक्स) को भेजता है और प्राप्त परिणामों को मर्ज करता है।

• समान पब्लिक एपीआई (Identical Public API):
• सफलतापूर्वक एक साथ काम करने के लिए, सभी सर्च कार्यान्वयन (Implementations) में एक ही पब्लिक एपीआई होना आवश्यक है।
• आवश्यक मेथड्स: add document और search।

• रेसिप्रोकल रैंक फ्यूजन (Reciprocal Rank Fusion - RRF):
• यह विभिन्न सर्च मेथोडोलॉजी से आने वाले परिणामों को संयोजित करने की एक तकनीक है।
• प्रक्रिया:
• सभी सर्च स्रोतों से परिणामों और उनके रैंक (Rank) को एक ही तालिका में एकत्र करें।
• प्रत्येक टेक्स्ट चंक के लिए एक नया स्कोर (Score) गणना करें।
• RRF सूत्र: स्कोर = (1 / (1 + रैंक 1)) + (1 / (1 + रैंक 2)) + ...
• गणना किए गए स्कोर के आधार पर परिणामों को सबसे अधिक से सबसे कम प्रासंगिक क्रम में सॉर्ट करें।

• रिट्रीवर क्लास की कार्यप्रणाली:
• add document: रिट्रीवर में मौजूद सभी इंडेक्स (जैसे वेक्टर इंडेक्स और BM25 इंडेक्स) को दस्तावेज़ पास किया जाता है।
• search: क्वेरी को सभी इंडेक्स को भेजा जाता है, और फिर रिट्रीवर इन सभी परिणामों को RRF का उपयोग करके मर्ज करता है।

• लाभ (Benefits):
• मॉड्यूलरिटी (Modularity): प्रत्येक इंडेक्स को अलग से बनाया जा सकता है।
• विस्तारशीलता (Extensibility): यदि कोई नया सर्च इंडेक्स बनाया जाता है, तो उसे आसानी से रिट्रीवर में जोड़ा जा सकता है, बशर्ते वह समान एपीआई का पालन करे।
• सटीकता में सुधार: विभिन्न तकनीकों को मिलाकर सर्च की सटीकता (Accuracy) में उल्लेखनीय सुधार होता है।

Takeaways

• रिट्रीवर (Retriever) एक क्लास है जो सिमेंटिक और लेक्सिकल सर्च जैसी विभिन्न कार्यक्षमताओं को एक साथ जोड़कर हाइब्रिड सर्च पाइपलाइन बनाती है।
• सभी सर्च कार्यान्वयन को एक समान पब्लिक एपीआई (add document और search) का पालन करना आवश्यक है ताकि वे रिट्रीवर के साथ काम कर सकें।
• रेसिप्रोकल रैंक फ्यूजन (RRF) एक तकनीक है जो विभिन्न सर्च स्रोतों से परिणामों को संयोजित करती है, जिसका स्कोर सूत्र है: स्कोर = (1 / (1 + रैंक 1)) + (1 / (1 + रैंक 2)) + ...
• इस आर्किटेक्चर का मुख्य लाभ मॉड्यूलरिटी और विस्तारशीलता (Extensibility) है, जिससे नई सर्च इंडेक्स आसानी से जोड़ी जा सकती हैं।