BM25 lexical search

RAG पाइपलाइन में खोज सुधार (Search Improvement in RAG Pipeline)

• समस्या (The Problem):
• सिमेंटिक सर्च (Semantic Search) कभी-कभी अप्रत्याशित या अप्रासंगिक परिणाम दे सकता है, भले ही पाइपलाइन अच्छी तरह से काम कर रही हो।
• उदाहरण के लिए, एक प्रासंगिक सेक्शन के बजाय, एक पूरी तरह से अप्रासंगिक सेक्शन परिणाम में आ सकता है।

• समाधान की रणनीति (Solution Strategy):
• सिमेंटिक सर्च के साथ एक अलग लेक्सिकल सर्च सिस्टम (Lexical Search System) लागू करना।
• दोनों सिस्टम से प्राप्त परिणामों को मर्ज (Merge) करना ताकि सिमेंटिक और टेक्स्ट-आधारित दोनों तरह के परिणाम मिल सकें।

• लेक्सिकल सर्च: BM25 (Lexical Search: BM25):
• BM25 (Best Match 25) एक सामान्य टेक्स्ट सर्च तकनीक है जो क्लासिक टेक्स्ट सर्च की तरह काम करती है।
• BM25 की कार्यप्रणाली (BM25 Working Principle):
• टोकनाइजेशन (Tokenization): उपयोगकर्ता के प्रश्न को विराम चिह्नों (punctuation) को हटाकर और स्पेस के आधार पर छोटे शब्दों (chunks) में तोड़ना।
• आवृत्ति गणना (Frequency Counting): यह देखना कि प्रत्येक खोज शब्द (search term) दस्तावेज़ों (documents) में कितनी बार आता है।
• सापेक्ष महत्व निर्धारण (Relative Importance/Weighting):
• जो शब्द बहुत बार उपयोग होते हैं (जैसे 'a'), वे कम महत्वपूर्ण माने जाते हैं।
• जो शब्द बहुत कम बार उपयोग होते हैं (जैसे विशिष्ट घटना का नाम), उन्हें अधिक महत्व (higher weight) दिया जाता है।
• सर्वोत्तम चंक खोजना (Finding Best Chunk): उस टेक्स्ट चंक को चुनना जो उच्च भार (high weighted) वाले शब्दों का अधिक उपयोग करता है।

• BM25 कार्यान्वयन के चरण (BM25 Implementation Steps):
• टेक्स्ट को सेक्शन के आधार पर चंक करना (Chunk the text by section)।
• BM25 इंडेक्स/स्टोर बनाना।
• सभी टेक्स्ट चंक्स को स्टोर में जोड़ना (Add documents to the store)।
• स्टोर पर खोज करना (Search the store)।

• अंतिम लक्ष्य (Final Goal):
• सिमेंटिक सर्च और लेक्सिकल सर्च (BM25) दोनों के परिणामों को एक साथ मर्ज करना।
• इससे खोज परिणामों का बेहतर संतुलन प्राप्त होगा, जिसमें सिमेंटिक समझ और सटीक टेक्स्ट मैच दोनों शामिल होंगे।

Takeaways

• सिमेंटिक सर्च की अप्रासंगिकता को दूर करने के लिए लेक्सिकल सर्च सिस्टम (जैसे BM25) को RAG पाइपलाइन में लागू किया जाता है।
• BM25 एक टेक्स्ट सर्च तकनीक है जो शब्दों की आवृत्ति और उनके सापेक्ष महत्व (rarity) के आधार पर टेक्स्ट चंक्स को महत्व देती है।
• BM25 की कार्यप्रणाली में उपयोगकर्ता के प्रश्न का टोकनाइजेशन और उच्च भार (high weighted) वाले शब्दों की पहचान शामिल है।
• अंतिम लक्ष्य सिमेंटिक और लेक्सिकल दोनों तरह के परिणामों को मर्ज करना है, जिससे खोज परिणामों में सटीक टेक्स्ट मैच और सिमेंटिक समझ का बेहतर संतुलन प्राप्त हो।