Implementing the RAG flow

📚 RAG 工作流核心概念笔记

一、 RAG 流程概述 (RAG Workflow)

• RAG (Retrieval-Augmented Generation) 流程包含五个关键步骤：
• 文本加载与分块 (Chunking): 读取原始文档 → 按章节进行分块。
• 生成嵌入 (Embedding Generation): 对每个分块 → 生成对应的向量嵌入。
• 向量存储 (Vector Store Creation): 创建向量存储实例 → 将 (分块内容 + 嵌入) 对进行存储。
• 查询嵌入 (Query Embedding): 用户提出问题 → 对问题生成查询嵌入。
• 检索 (Retrieval): 使用查询嵌入 → 在向量存储中搜索 → 检索最相关的文档块（Top K 个结果）。

二、 关键概念与实现细节

• 分块 (Chunking): 将大型文本分解成更小、更易于处理的单元（chunks）。
• 嵌入 (Embedding): 将文本（无论是分块还是查询）转换成高维度的数值向量。
• 向量存储 (Vector Store): 专门用于存储和高效检索这些向量的数据库。
• 存储内容的重要性:
• 在存储向量时，必须同时存储原始的文本内容或块ID。
• 原因: 向量本身对开发者没有直接意义；只有关联的原始文本才能用于最终的答案生成。
• 检索结果: 搜索结果通常包含：
• 最相关的文档内容。
• 与查询嵌入的相似度或距离（例如，余弦距离）。

三、 流程总结 (Flow Summary)

• 索引阶段 (Indexing): 文本 → 分块 → 生成嵌入 → 存储 (内容 + 嵌入)。
• 查询阶段 (Querying): 用户问题 → 生成查询嵌入 → 搜索存储 → 检索相关文档。

Takeaways

• RAG流程核心是：文本分块 → 生成嵌入 → 向量存储 → 检索相关文档。
• 索引阶段是将原始文档分解为更小的单元（分块），并将其转化为高维度的数值向量（嵌入）。
• 向量存储必须同时保存原始文本内容或块ID，因为向量本身无法直接用于生成最终答案。
• 查询阶段通过将用户问题转化为查询嵌入，在向量存储中搜索并检索最相关的文档块。