The full RAG flow

RAG 流程核心概念学习笔记

一、 RAG 流程概述 (RAG Pipeline Overview)

• RAG (Retrieval-Augmented Generation) 流程旨在通过检索外部知识来增强大型语言模型 (LLM) 的回答能力。
• 整个流程可分为预处理阶段（索引）和查询阶段（检索与生成）。

二、 预处理阶段 (Indexing/Pre-processing)

• 文本分块 (Text Chunking): 将原始文档拆分成较小的、可管理的文本片段。
• 文本嵌入 (Text Embeddings): 使用嵌入模型将每个文本块转换成高维度的数值向量（即数字列表）。
• 归一化 (Normalization): 对生成的向量进行调整，使其长度（模）缩放到 1. 0。这确保了所有向量都位于单位球上。
• 向量数据库 (Vector Database): 专门用于存储、比较和快速查找大量向量的数据库。所有处理好的向量和对应的文本块都存储于此。

三、 查询与检索阶段 (Query & Retrieval)

• 查询嵌入 (Query Embedding): 当用户提交查询时，使用与预处理阶段相同的嵌入模型，将用户查询也转换成一个查询向量。
• 向量搜索 (Vector Search): 将查询向量输入向量数据库，数据库会搜索所有存储的向量，找出与查询向量“最接近”的文本块。

四、 核心数学概念 (Core Mathematical Concepts)

• 余弦相似度 (Cosine Similarity):
• 衡量两个向量之间夹角的余弦值。
• 计算结果范围是 -1 到 1。
• 结果越接近 1，表示两个向量（文本块和查询）越相似。
• 余弦距离 (Cosine Distance):
• 计算公式为：1 减去余弦相似度。
• 常用于向量数据库文档中，它提供了一个更易于解释的相似度指标。
• 结果越接近 0，表示相似度越高。

五、 生成阶段 (Generation)

• 提示词构建 (Prompt Construction): 将用户的原始查询与从向量数据库中检索到的最相关的文本块结合起来，构成最终的提示词。
• LLM 生成: 将构建好的提示词发送给 LLM (如 Claude)，由 LLM 基于提供的上下文信息生成最终答案。

Takeaways

• RAG（检索增强生成）的核心目标是利用外部知识来增强大型语言模型（LLM）的回答能力。
• 预处理阶段需将原始文档分块（Chunking），并使用嵌入模型将其转化为高维度的数值向量，存储于向量数据库。
• 查询阶段，用户查询也会被转化为向量，然后通过向量搜索机制在数据库中找出最相似的文本块。
• 向量间的相似度主要通过余弦相似度（结果接近1表示相似）或余弦距离（结果接近0表示相似）来衡量。
• 最终，系统将检索到的相关文本块与原始查询结合，构建完整的提示词（Prompt）供LLM生成最终答案。