Text embeddings

📚 RAG 流程与文本嵌入 (Text Embeddings) 学习笔记

一、RAG 流程中的核心问题

• 查询阶段 (Query Phase): 在文档分块 (Chunk) 提取后，RAG 流程的下一步是接收用户查询。
• 目标: 识别并提取与用户查询最相关的文本块，将其作为上下文 (Context) 放入提示词 (Prompt) 中。
• 本质: 这是一个复杂的搜索问题。

二、语义搜索 (Semantic Search)

• 定义: 实现相关性匹配的最常用方法。
• 机制: 利用文本嵌入 (Text Embeddings) 来理解文本的深层含义，从而找到与查询最匹配的文本块。

三、文本嵌入 (Text Embeddings) 概念

• 定义: 文本所包含的含义的数值表示。
• 生成方式: 由嵌入模型 (Embedding Model) 生成。
• 输出形式: 一个长数字列表（即嵌入向量）。
• 数值特性:
• 嵌入中的每个数字代表输入文本某种特性的得分。
• 数值范围通常在负一到正一之间 (负一 → 正一)。
• 注意： 具体的每个数字代表的含义是抽象的，但它们共同构成了文本的“意义指纹”。

四、应用总结

• 作用: 将非结构化的文本（如文档块和用户查询）转化为可计算的数值形式。
• 价值: 使得系统能够通过数学计算来衡量查询与所有文本块之间的语义相关性，从而实现高效的检索。

Takeaways

• RAG流程的核心目标是解决一个复杂的搜索问题，即从文档中提取与用户查询最相关的文本块。
• 语义搜索是实现相关性匹配的主要方法，它依赖于文本嵌入来理解文本的深层含义。
• 文本嵌入是将文本含义转化为数值表示的过程，由嵌入模型生成一个长数字列表（嵌入向量）。
• 文本嵌入的价值在于将非结构化文本转化为可计算的数值形式，从而通过数学计算衡量语义相关性。