The full RAG flow

RAG (Retrieval-Augmented Generation) पाइपलाइन के मुख्य अध्ययन नोट्स

RAG प्रक्रिया का अवलोकन:

• RAG पाइपलाइन तीन मुख्य चरणों को जोड़ती है: टेक्स्ट चंकिंग (Text Chunking), टेक्स्ट एम्बेडिंग (Text Embeddings), और संपूर्ण पाइपलाइन का कार्यान्वयन।
• यह प्रक्रिया पहले डेटा को तैयार करती है (Pre-processing) और फिर उपयोगकर्ता के प्रश्न का उत्तर देती है।

**1. टेक्स्ट चंकिंग (Text Chunking):**

• स्रोत दस्तावेज़ (Source Document) को छोटे, प्रबंधनीय टेक्स्ट टुकड़ों (Chunks) में विभाजित करना।

**2. टेक्स्ट एम्बेडिंग (Text Embeddings):**

• प्रत्येक टेक्स्ट चंक को एक संख्यात्मक वैक्टर (Numerical Vector) में बदलना।
• विशेषता: एम्बेडिंग मॉडल टेक्स्ट के अर्थ को संख्यात्मक स्कोर में बदलता है (उदाहरण के लिए, मेडिकल या सॉफ्टवेयर इंजीनियरिंग के लिए स्कोर)।
• उदाहरण: एक वैक्टर की लंबाई तीन हो सकती है, जिसमें प्रत्येक संख्या एक विशिष्ट विषय का स्कोर दर्शाती है।

**3. नॉर्मलाइज़ेशन (Normalization):**

• एम्बेडिंग वैक्टर के परिमाण (Magnitude) को 1. 0 तक स्केल करना।
• यह एक समायोजन चरण है जो वैक्टर को एक निश्चित आकार देता है।

**4. वेक्टर डेटाबेस (Vector Database):**

• नॉर्मलाइज़ किए गए सभी एम्बेडिंग वैक्टर को स्टोर करने के लिए एक विशेष डेटाबेस।
• यह डेटाबेस लंबी संख्यात्मक सूचियों (Vectors) को स्टोर करने, तुलना करने और खोजने के लिए अनुकूलित होता है।

**5. क्वेरी प्रोसेसिंग (Query Processing):**

• जब उपयोगकर्ता कोई प्रश्न (Query) पूछता है, तो उस प्रश्न को भी उसी एम्बेडिंग मॉडल के माध्यम से वैक्टर में बदला जाता है।
• इस क्वेरी वैक्टर को वेक्टर डेटाबेस में खोज के लिए भेजा जाता है।

**6. समानता की गणना (Similarity Calculation):**

• वेक्टर डेटाबेस में संग्रहीत वैक्टर और उपयोगकर्ता के क्वेरी वैक्टर के बीच समानता (Similarity) की गणना की जाती है।
• कोसाइन सिमिलैरिटी (Cosine Similarity): यह दो वैक्टर के बीच के कोण का कोसाइन होता है।
• परिणाम: यह -1 और 1 के बीच होता है।
• व्याख्या: 1 के करीब परिणाम = उच्च समानता (High Similarity)। -1 के करीब = कम समानता।
• कोसाइन डिस्टेंस (Cosine Distance): यह कोसाइन सिमिलैरिटी से अलग है।
• गणना: 1 माइनस कोसाइन सिमिलैरिटी।
• व्याख्या: 0 के करीब परिणाम = उच्च समानता।

**7. अंतिम चरण (Generation):**

• उच्च समानता वाला सबसे प्रासंगिक टेक्स्ट चंक (Chunk) खोजकर निकाला जाता है।
• इस चंक को उपयोगकर्ता के मूल प्रश्न के साथ मिलाकर एक प्रॉम्प्ट बनाया जाता है।
• यह प्रॉम्प्ट LLM (जैसे Claude) को भेजा जाता है, जो अंतिम उत्तर उत्पन्न करता है।

Takeaways

• RAG पाइपलाइन डेटा को छोटे टुकड़ों (Text Chunking) में विभाजित करती है और उन्हें संख्यात्मक वैक्टर (Text Embeddings) में बदलती है।
• एम्बेडिंग मॉडल टेक्स्ट के अर्थ को वैक्टर में बदलता है, जिन्हें वेक्टर डेटाबेस में स्टोर किया जाता है।
• उपयोगकर्ता के प्रश्न को भी वैक्टर में बदला जाता है और वेक्टर डेटाबेस में समानता की गणना की जाती है।
• समानता मापने के लिए कोसाइन सिमिलैरिटी का उपयोग होता है, जहाँ 1 का मान उच्च समानता दर्शाता है।
• सबसे प्रासंगिक चंक को मूल प्रश्न के साथ मिलाकर LLM को भेजा जाता है ताकि अंतिम उत्तर उत्पन्न हो सके।