Implementing the RAG flow

RAG फ्लो और वेक्टर डेटाबेस (VectorDB) का कार्यान्वयन

यह नोट्स RAG (Retrieval-Augmented Generation) फ्लो के पूरे कार्यान्वयन को दर्शाते हैं, जिसे एक वेक्टर डेटाबेस का उपयोग करके पाँच चरणों में पूरा किया जाता है।

मुख्य अवधारणाएँ:

• RAG फ्लो का उद्देश्य: किसी प्रश्न के लिए सबसे प्रासंगिक दस्तावेज़ (chunks) को पुनर्प्राप्त करना ताकि एक सटीक उत्तर दिया जा सके।
• वेक्टर डेटाबेस (VectorDB): यह एक ऐसा स्टोर है जो डेटा को संख्यात्मक वैक्टर (embeddings) के रूप में संग्रहीत करता है, जिससे समानता (similarity) पर आधारित खोज संभव होती है।

RAG फ्लो के पाँच चरण:

• टेक्स्ट पढ़ना और खंडन (Chunking):
• स्रोत दस्तावेज़ (जैसे report. md) से टेक्स्ट को पढ़ा जाता है।
• टेक्स्ट को छोटे, प्रबंधनीय हिस्सों में तोड़ा जाता है (Chunking by section)।
• एम्बेडिंग बनाना (Creating Embeddings):
• प्रत्येक टेक्स्ट चंक के लिए एक एम्बेडिंग (संख्यात्मक प्रतिनिधित्व) उत्पन्न किया जाता है।
• फ़ंक्शन इस तरह डिज़ाइन किया गया है कि यह एक स्ट्रिंग या स्ट्रिंग्स की सूची दोनों के लिए एम्बेडिंग बना सके।
• वेक्टर स्टोर में संग्रहण (Storing in Vector Store):
• प्रत्येक चंक और उसके संबंधित एम्बेडिंग को एक साथ जोड़ा जाता है (Zip)।
• इस जोड़ी को वेक्टर स्टोर में डाला जाता है।
• महत्वपूर्ण: एम्बेडिंग के साथ मूल चंक टेक्स्ट को भी स्टोर किया जाता है, क्योंकि एम्बेडिंग स्वयं डेवलपर के लिए अर्थहीन होता है; हमें अंतिम उत्तर के लिए मूल टेक्स्ट की आवश्यकता होती है।
• उपयोगकर्ता प्रश्न का एम्बेडिंग (User Query Embedding):
• जब कोई उपयोगकर्ता प्रश्न पूछता है, तो उस प्रश्न के लिए भी एक एम्बेडिंग (user_embedding) उत्पन्न किया जाता है।
• प्रासंगिक दस्तावेज़ों की खोज (Retrieval/Search):
• उपयोगकर्ता एम्बेडिंग का उपयोग करके वेक्टर स्टोर में खोज की जाती है।
• स्टोर से सबसे अधिक प्रासंगिक N चंक्स (जैसे $N=2$) वापस प्राप्त किए जाते हैं।
• समानता मापन: चंक्स की प्रासंगिकता को मापने के लिए कोसाइन दूरी (Cosine Distance) का उपयोग किया जाता है।

निष्कर्ष:

• RAG फ्लो का अंतिम लक्ष्य उपयोगकर्ता के प्रश्न से सबसे मिलते-जुलते चंक्स को ढूंढना है, न कि केवल एम्बेडिंग को।
• सटीक परिणाम के लिए, एम्बेडिंग के साथ मूल टेक्स्ट का भंडारण आवश्यक है।

Takeaways

• RAG फ्लो का मुख्य उद्देश्य प्रश्न के लिए सबसे प्रासंगिक दस्तावेज़ (chunks) को पुनर्प्राप्त करना है ताकि सटीक उत्तर दिया जा सके।
• वेक्टर डेटाबेस (VectorDB) डेटा को संख्यात्मक वैक्टर (embeddings) के रूप में संग्रहीत करता है, जिससे समानता (similarity) पर आधारित खोज संभव होती है।
• सटीक परिणाम के लिए, वेक्टर स्टोर में एम्बेडिंग के साथ मूल चंक टेक्स्ट को स्टोर करना आवश्यक है।
• उपयोगकर्ता प्रश्न को एम्बेड करके, वेक्टर स्टोर में कोसाइन दूरी (Cosine Distance) का उपयोग करके सबसे प्रासंगिक N चंक्स खोजे जाते हैं।