Text embeddings

RAG पाइपलाइन और सिमेंटिक सर्च (RAG Pipeline and Semantic Search)

• RAG का उद्देश्य: RAG पाइपलाइन में, उपयोगकर्ता के प्रश्न (Query) के लिए स्रोत दस्तावेज़ से संबंधित टेक्स्ट चंक्स (Text Chunks) खोजना मुख्य कार्य है।
• समस्या का स्वरूप: यह प्रक्रिया मूल रूप से एक 'खोज समस्या' (Search Problem) है।
• समाधान: इस समस्या को हल करने के लिए 'सिमेंटिक सर्च' (Semantic Search) का उपयोग किया जाता है।
• टेक्स्ट एम्बेडिंग (Text Embeddings):
• सिमेंटिक सर्च 'टेक्स्ट एम्बेडिंग' का उपयोग करता है।
• परिभाषा: टेक्स्ट एम्बेडिंग किसी टेक्स्ट के निहित अर्थ (meaning) का संख्यात्मक प्रतिनिधित्व (numerical representation) होता है।
• उत्पादन: ये एम्बेडिंग एक 'एम्बेडिंग मॉडल' (Embedding Model) द्वारा उत्पन्न किए जाते हैं।
• प्रक्रिया: टेक्स्ट → एम्बेडिंग मॉडल → संख्याओं की एक लंबी सूची (Embedding)।
• मान: एम्बेडिंग में मौजूद संख्याएँ नकारात्मक 1 से सकारात्मक 1 तक हो सकती हैं।
• व्याख्या: प्रत्येक संख्या इनपुट टेक्स्ट की किसी विशिष्ट गुणवत्ता (quality) का स्कोर दर्शाती है।

तकनीकी कार्यान्वयन (Technical Implementation)

• प्लेटफ़ॉर्म: एम्बेडिंग बनाने के लिए Vertex AI का उपयोग किया जाता है।
• मॉडल: एम्बेडिंग जनरेशन के लिए text-embedding-005 मॉडल का उपयोग किया जाता है।
• उपयोग: एम्बेडिंग का उपयोग उपयोगकर्ता के प्रश्न और टेक्स्ट चंक्स के बीच समानता (similarity) खोजने के लिए किया जाता है, ताकि प्रासंगिक संदर्भ (context) को प्रॉम्प्ट में जोड़ा जा सके।

Takeaways

• RAG पाइपलाइन का मुख्य उद्देश्य उपयोगकर्ता के प्रश्न के लिए स्रोत दस्तावेज़ से संबंधित टेक्स्ट चंक्स खोजना है, जो एक 'खोज समस्या' है।
• इस समस्या को हल करने के लिए 'सिमेंटिक सर्च' का उपयोग किया जाता है, जो 'टेक्स्ट एम्बेडिंग' पर आधारित है।
• टेक्स्ट एम्बेडिंग किसी टेक्स्ट के निहित अर्थ (meaning) का संख्यात्मक प्रतिनिधित्व होता है।
• एम्बेडिंग मॉडल टेक्स्ट को संख्याओं की एक लंबी सूची (Embedding) में परिवर्तित करता है।
• एम्बेडिंग का उपयोग उपयोगकर्ता के प्रश्न और टेक्स्ट चंक्स के बीच समानता खोजने के लिए किया जाता है, ताकि प्रासंगिक संदर्भ (context) को प्रॉम्प्ट में जोड़ा जा सके।