The full RAG flow

RAG पाइपलाइन: संपूर्ण प्रक्रिया के मुख्य नोट्स

**I. RAG पाइपलाइन का अवलोकन (Overview)**

• RAG (Retrieval-Augmented Generation): यह एक ऐसी प्रक्रिया है जो बाहरी ज्ञान (External Knowledge) का उपयोग करके LLM (Large Language Model) के उत्तरों को बेहतर बनाती है।
• मुख्य चरण: टेक्स्ट को छोटे टुकड़ों में तोड़ना (Chunking) → उन्हें संख्यात्मक रूप में बदलना (Embedding) → उन्हें स्टोर करना (Vector Database) → प्रश्न पूछने पर प्रासंगिक जानकारी खोजना (Retrieval) → उत्तर उत्पन्न करना (Generation)।

**II. प्री-प्रोसेसिंग चरण (Indexing/Ingestion)**

• टेक्स्ट चंकिंग (Text Chunking): स्रोत दस्तावेज़ (Source Document) को छोटे, प्रबंधनीय टेक्स्ट टुकड़ों में विभाजित करना।
• टेक्स्ट एम्बेडिंग (Text Embeddings): प्रत्येक टेक्स्ट चंक को एक संख्यात्मक वेक्टर (Numerical Vector) में बदलना।
• यह वेक्टर टेक्स्ट के अर्थ (Meaning) को दर्शाता है।
• उदाहरण: एक वेक्टर में विभिन्न विषयों (जैसे, मेडिकल, सॉफ्टवेयर इंजीनियरिंग) के लिए स्कोर हो सकते हैं।
• नॉर्मलाइज़ेशन (Normalization): एम्बेडिंग वेक्टर के परिमाण (Magnitude) को 1. 0 तक स्केल करना।
• यह सुनिश्चित करता है कि सभी वेक्टर एक समान लंबाई के हों।
• वेक्टर डेटाबेस (Vector Database): एक विशेष डेटाबेस जो लंबी संख्या सूची (Vectors) को स्टोर करने, तुलना करने और खोजने के लिए ऑप्टिमाइज़ किया गया है।
• यह प्री-प्रोसेसिंग का हिस्सा है; यह उपयोगकर्ता के प्रश्न का इंतज़ार करता है।

**III. क्वेरी प्रोसेसिंग चरण (Retrieval)**

• उपयोगकर्ता क्वेरी एम्बेडिंग: उपयोगकर्ता द्वारा पूछे गए प्रश्न को भी उसी एम्बेडिंग मॉडल का उपयोग करके एक वेक्टर में बदला जाता है।
• वेक्टर सर्च: इस क्वेरी वेक्टर को वेक्टर डेटाबेस में फीड किया जाता है।
• लक्ष्य: डेटाबेस में संग्रहीत सभी वेक्टर्स में से उस वेक्टर को खोजना जो क्वेरी वेक्टर के सबसे करीब हो।

**IV. गणित और समानता (The Math)**

• कोसाइन सिमिलैरिटी (Cosine Similarity): यह दो वेक्टर्स के बीच के कोण (Angle) का कोसाइन होता है।
• यह मापता है कि दो वेक्टर एक ही दिशा में कितने करीब हैं।
• परिणाम: -1 से 1 के बीच।
• व्याख्या:
• 1 के करीब → उच्च समानता (High Similarity)।
• -1 के करीब → कम समानता (Low Similarity)।
• कोसाइन डिस्टेंस (Cosine Distance): यह कोसाइन सिमिलैरिटी से अलग है।
• सूत्र: 1 - कोसाइन सिमिलैरिटी।
• व्याख्या: 0 के करीब → उच्च समानता।

**V. अंतिम चरण (Generation)**

• प्रॉम्प्ट निर्माण: सबसे अधिक संबंधित टेक्स्ट चंक (जो उच्च कोसाइन सिमिलैरिटी दिखाता है) को उपयोगकर्ता के मूल प्रश्न के साथ एक प्रॉम्प्ट में जोड़ा जाता है।
• LLM का उपयोग: इस तैयार प्रॉम्प्ट को LLM (जैसे Claude) को भेजा जाता है, जो प्रासंगिक जानकारी का उपयोग करके अंतिम उत्तर उत्पन्न करता है।

Takeaways

• RAG (Retrieval-Augmented Generation) एक प्रक्रिया है जो बाहरी ज्ञान का उपयोग करके LLM के उत्तरों की सटीकता और गुणवत्ता को बढ़ाती है।
• प्री-प्रोसेसिंग में, स्रोत दस्तावेज़ को छोटे टुकड़ों (Chunking) में तोड़कर उन्हें अर्थ दर्शाने वाले संख्यात्मक वेक्टर (Embedding) में बदला जाता है और वेक्टर डेटाबेस में स्टोर किया जाता है।
• क्वेरी प्रोसेसिंग में, उपयोगकर्ता के प्रश्न को भी वेक्टर में बदला जाता है और वेक्टर सर्च द्वारा डेटाबेस में सबसे निकटतम प्रासंगिक जानकारी खोजी जाती है।
• दो वेक्टर्स के बीच समानता मापने के लिए कोसाइन सिमिलैरिटी का उपयोग किया जाता है, जहाँ 1 के करीब का मान उच्च समानता दर्शाता है।
• अंतिम चरण में, सबसे अधिक संबंधित टेक्स्ट चंक को मूल प्रश्न के साथ जोड़कर LLM को अंतिम और सटीक उत्तर उत्पन्न करने के लिए प्रॉम्प्ट दिया जाता है।