The full RAG flow

RAG 流程核心概念学习笔记

一、 RAG 流程概述 (RAG Pipeline Overview)

• 目标： 将文本、嵌入和分块技术整合，实现完整的 RAG 流程。
• 核心步骤：
• 文本分块 (Text Chunking)： 将原始文档拆分成较小的文本片段。
• 生成嵌入 (Text Embeddings)： 使用嵌入模型将每个文本块转换为数值向量。
• 归一化 (Normalization)： 将每个向量的长度（模）缩放到 1. 0。
• 存储 (Storage)： 将处理后的向量存储在向量数据库中。
• 查询 (Query)： 用户输入查询 → 生成查询向量 → 在向量数据库中搜索最相似的向量。
• 生成答案 (Generation)： 将用户查询和检索到的相关文本块一起放入提示词 (Prompt) 中，发送给大型语言模型 (LLM)。

二、 关键技术详解

• 文本嵌入 (Text Embeddings)：
• 将非结构化文本转化为高维数值向量。
• 向量的每个维度代表文本中特定概念的评分（例如：医疗领域、软件工程）。
• 向量数据库 (Vector Database)：
• 一种专门优化用于存储、比较和快速查找大量数值向量的数据库。
• 用于存储预处理阶段生成的文本块向量。
• 归一化 (Normalization)：
• 调整向量的幅度（magnitude），使其长度等于 1. 0。
• 这使得向量可以被可视化，并确保后续相似度计算的准确性。

三、 相似度计算 (Similarity Calculation)

• 余弦相似度 (Cosine Similarity)：
• 用于衡量查询向量与数据库中存储向量之间的相似程度。
• 计算的是两个向量之间夹角的余弦值。
• 结果范围： 介于负一到一之间。
• 判断标准： 结果越接近 1，表示相似度越高；结果越接近负一，表示越不相似。
• 余弦距离 (Cosine Distance)：
• 与余弦相似度不同，它常用于向量数据库的文档中。
• 计算公式： 余弦距离 = 1 减去 余弦相似度。
• 判断标准： 结果越接近 0，表示相似度越高；结果越大，表示相似度越低。

Takeaways

• RAG流程的核心是：将原始文档分块 → 生成文本嵌入（数值向量）→ 存储到向量数据库 → 通过查询检索相关文本 → 送入LLM生成答案。
• 文本嵌入技术负责将非结构化文本转化为高维数值向量，向量的每个维度代表文本中特定概念的评分。
• 向量数据库是专门优化用于存储、比较和快速查找大量数值向量的工具。
• 余弦相似度是衡量查询向量与存储向量相似程度的主要指标，结果越接近 1 表示相似度越高。