Implementing the RAG flow

RAG (Retrieval-Augmented Generation) वर्कफ़्लो के मुख्य चरण

यह नोट्स RAG प्रक्रिया के कार्यान्वयन (implementation) और उसके पाँच मुख्य चरणों को संक्षेप में प्रस्तुत करते हैं:

• RAG का उद्देश्य: बाहरी डेटा स्रोतों (जैसे report. md) का उपयोग करके प्रश्नों के लिए प्रासंगिक जानकारी प्राप्त करना और उत्तर उत्पन्न करना।

RAG वर्कफ़्लो के 5 चरण:

• टेक्स्ट चंकिंग (Text Chunking):
• स्रोत फ़ाइल (जैसे report. md) से टेक्स्ट को पढ़ना।
• टेक्स्ट को छोटे, प्रबंधनीय खंडों (chunks) में विभाजित करना (उदाहरण के लिए, सेक्शन के आधार पर)।

• एम्बेडिंग जनरेशन (Embedding Generation):
• प्रत्येक टेक्स्ट चंक के लिए एक एम्बेडिंग बनाना।
• generate embedding फ़ंक्शन का उपयोग करके टेक्स्ट को संख्यात्मक वेक्टर (numerical vector) में परिवर्तित करना।

• वेक्टर स्टोर निर्माण (Vector Store Creation):
• एक वेक्टर इंडेक्स (Vector Index) बनाना।
• प्रत्येक एम्बेडिंग को वेक्टर स्टोर में संग्रहीत करना।
• महत्वपूर्ण: एम्बेडिंग के साथ मूल चंक टेक्स्ट (या उसकी ID) को भी स्टोर करना आवश्यक है, ताकि बाद में खोज के दौरान वास्तविक सामग्री प्राप्त की जा सके।

• प्रश्न एम्बेडिंग (Query Embedding):
• उपयोगकर्ता द्वारा पूछे गए प्रश्न (query) के लिए भी एक एम्बेडिंग उत्पन्न करना।

• प्रासंगिक दस्तावेज़ पुनर्प्राप्ति (Relevant Document Retrieval):
• उपयोगकर्ता के प्रश्न के एम्बेडिंग का उपयोग करके वेक्टर स्टोर में खोज करना।
• सबसे अधिक प्रासंगिक (most relevant) शीर्ष 'N' चंक्स (chunks) को पुनर्प्राप्त करना (उदाहरण के लिए, शीर्ष 2)।
• परिणाम के रूप में, पुनर्प्राप्त दस्तावेज़ की सामग्री और प्रश्न से उसकी दूरी (Distance, जैसे Cosine Distance) प्रदर्शित करना।

Takeaways

• RAG का मुख्य उद्देश्य बाहरी डेटा स्रोतों का उपयोग करके प्रश्नों के लिए प्रासंगिक जानकारी प्राप्त करना और उत्तर उत्पन्न करना है।
• प्रक्रिया में स्रोत टेक्स्ट को छोटे, प्रबंधनीय चंक्स में विभाजित करना और उन्हें संख्यात्मक वेक्टर (Embedding) में बदलना शामिल है।
• इन एम्बेडिंग को वेक्टर स्टोर में संग्रहीत किया जाता है, जिसमें मूल चंक टेक्स्ट की पहचान भी शामिल होती है।
• उपयोगकर्ता के प्रश्न को भी एम्बेडिंग में बदला जाता है और फिर वेक्टर स्टोर में खोज की जाती है।
• खोज के माध्यम से सबसे अधिक प्रासंगिक शीर्ष 'N' चंक्स को पुनर्प्राप्त किया जाता है ताकि अंतिम उत्तर तैयार किया जा सके।