The full RAG flow

RAG 流程核心概念学习笔记

📚 RAG 整体流程 (RAG Pipeline)

• RAG 流程定义: 结合文本嵌入 (Text Embedding)、文本分块 (Text Chunking) 和检索增强生成 (Retrieval-Augmented Generation) 的完整工作流程。
• 核心目标: 通过检索外部知识（文档片段）来增强大型语言模型 (LLM) 的回答能力。

⚙️ 预处理阶段 (Indexing / Pre-processing)

• 文本分块 (Text Chunking):
• 将原始源文档分割成较小的、可管理的文本片段。
• 生成嵌入 (Embedding Generation):
• 使用嵌入模型将每个文本块转换为一个向量（一串数字）。
• 向量的每个数字代表文本在特定维度上的得分（例如：医疗领域得分、软件工程领域得分）。
• 归一化 (Normalization):
• 对生成的向量进行调整，使其长度（或模）缩放到 1. 0。
• 作用: 确保所有向量在单位圆上，便于后续的距离和相似度计算。
• 存储 (Storage):
• 将所有处理好的向量存储在向量数据库中。
• 向量数据库专门优化了存储、比较和快速查找长数字列表（即向量）的功能。

🔍 查询阶段 (Query / Retrieval)

• 查询嵌入 (Query Embedding):
• 用户输入的问题（查询）也必须通过相同的嵌入模型转换成一个查询向量。
• 相似度搜索 (Similarity Search):
• 将查询向量输入向量数据库。
• 数据库会搜索所有存储的向量，找出与查询向量最接近的文本块。

📐 核心数学概念 (Mathematical Concepts)

• 余弦相似度 (Cosine Similarity):
• 用于衡量两个向量之间的相似程度。
• 计算原理: 衡量两个向量之间的夹角。
• 结果范围: -1 到 1。
• 判断标准:
• 接近 1 → 相似度高（高度相关）。
• 接近 -1 → 相似度低（完全不相关）。
• 余弦距离 (Cosine Distance):
• 与余弦相似度不同，它提供一个更易于解释的距离值。
• 计算公式: 余弦距离 = 1 减 余弦相似度。
• 判断标准:
• 接近 0 → 相似度高（距离近）。
• 数值越大 → 相似度越低（距离远）。

💡 最终生成 (Generation)

• 构建提示 (Prompt Construction): 将用户的原始查询 + 检索到的最相关的文本块（Chunk）组合成一个完整的提示。
• LLM 生成: 将这个完整的提示发送给 LLM（如 Claude），LLM 基于提供的上下文信息生成最终答案。

Takeaways

• RAG的核心目标是结合外部知识（检索）来增强大型语言模型（LLM）的回答能力。
• 预处理阶段将文本块转化为向量（一串数字），并存储在向量数据库中，以便进行高效查找。
• 查询阶段必须使用与预处理相同的嵌入模型将用户问题转化为查询向量。
• 相似度搜索通过比较查询向量与存储的向量，找出最相关的文本块。
• 余弦相似度是衡量两个向量相关性的关键指标，接近 1 表示高度相似。
• 最终生成时，将原始查询和检索到的相关文本块组合成提示（Prompt），输入给 LLM 生成答案。