Text embeddings

RAG पाइपलाइन और टेक्स्ट एम्बेडिंग (Text Embeddings) के मुख्य नोट्स

• RAG पाइपलाइन का उद्देश्य: स्रोत दस्तावेज़ से निकाले गए टेक्स्ट चंक्स के आधार पर, उपयोगकर्ता के प्रश्न (query) से संबंधित प्रासंगिक जानकारी खोजना और उसे प्रॉम्प्ट (prompt) के संदर्भ (context) के रूप में उपयोग करना।
• समस्या का समाधान: उपयोगकर्ता के प्रश्न से संबंधित चंक्स को खोजने की प्रक्रिया को एक 'खोज समस्या' (Search Problem) माना जाता है।
• सिमेंटिक सर्च (Semantic Search): इस खोज समस्या को हल करने के लिए सिमेंटिक सर्च का उपयोग किया जाता है।
• टेक्स्ट एम्बेडिंग की परिभाषा: टेक्स्ट एम्बेडिंग किसी टेक्स्ट में निहित अर्थ (meaning) का एक संख्यात्मक प्रतिनिधित्व (numerical representation) होता है।
• एम्बेडिंग मॉडल (Embedding Model): यह वह मॉडल है जो टेक्स्ट को इन संख्याओं की सूची (एम्बेडिंग) में बदलता है।
• एम्बेडिंग की संरचना: एम्बेडिंग के अंदर की प्रत्येक संख्या इनपुट टेक्स्ट की किसी विशेष गुणवत्ता (quality) का एक स्कोर दर्शाती है।
• एम्बेडिंग का उपयोग: एम्बेडिंग का उपयोग यह समझने के लिए किया जाता है कि कौन सा टेक्स्ट चंक उपयोगकर्ता के प्रश्न के अर्थ से सबसे अधिक संबंधित है।
• कार्यान्वयन (Implementation): एम्बेडिंग जनरेट करने के लिए AWS Bedrock जैसे प्लेटफॉर्म और विशिष्ट एम्बेडिंग मॉडल (जैसे Titan Embed Text V2) का उपयोग किया जाता है।
• आउटपुट: एक एम्बेडिंग आमतौर पर संख्याओं की एक लंबी सूची होती है (उदाहरण के लिए, 1024 तत्वों की)।

Takeaways

• RAG पाइपलाइन का मुख्य उद्देश्य उपयोगकर्ता के प्रश्न से संबंधित प्रासंगिक जानकारी को संदर्भ के रूप में खोजना है।
• इस खोज समस्या को हल करने के लिए सिमेंटिक सर्च (Semantic Search) का उपयोग किया जाता है।
• टेक्स्ट एम्बेडिंग किसी टेक्स्ट में निहित अर्थ (meaning) का संख्यात्मक प्रतिनिधित्व होता है।
• एम्बेडिंग मॉडल टेक्स्ट को संख्याओं की एक लंबी सूची में बदलता है, जिससे अर्थ की समानता समझी जा सके।
• एम्बेडिंग का उपयोग यह निर्धारित करने के लिए किया जाता है कि कौन सा टेक्स्ट चंक उपयोगकर्ता के प्रश्न से सबसे अधिक संबंधित है।