Implementing the RAG flow

RAG 工作流关键概念学习笔记

主题： 向量数据库 (VectorDB) 中的 RAG 工作流实现

核心流程 (5 个步骤)：

• 步骤 1：文本分块 (Chunking)
• 读取原始文档 (如 report. md)。
• 使用函数按章节 (section) 对文本进行分块。
• 步骤 2：生成嵌入 (Embedding)
• 对每个文本块 (chunk) 调用 generate_embedding 函数。
• 该函数支持输入单个字符串或字符串列表，并返回相应的嵌入列表。
• 步骤 3：创建向量存储 (Vector Store)
• 初始化向量存储实例。
• 遍历所有 (嵌入, 文本块) 对。
• 使用 store. add_vector 将数据存入存储。
• 关键点： 存储时必须将原始文本内容 (content) 或 ID 与嵌入一起存储，因为后续检索时，我们需要的不是嵌入本身，而是它关联的原始文本。
• 步骤 4：用户查询嵌入 (User Query Embedding)
• 当用户提出问题时，对该问题调用 generate_embedding 函数，生成用户嵌入 (user embedding)。
• 步骤 5：检索 (Retrieval)
• 使用用户嵌入在向量存储中进行搜索。
• 调用 store. search 方法，传入用户嵌入和所需返回的数量 (k)。
• 输出结果： 检索返回最相关的文档块 (chunks) 和它们与查询的距离 (distance，例如余弦距离)。

核心概念总结：

• 嵌入 (Embedding)： 将文本转化为计算机可理解的数值表示。
• 向量存储 (Vector Store)： 专门用于存储和高效检索高维向量（嵌入）的数据库。
• RAG 目的： 通过检索相关文档块，为生成最终答案提供事实依据。
• 检索机制： 相似的文本块在向量空间中距离更近，通过计算距离（如余弦距离）来确定相关性。

Takeaways

• RAG流程核心是：文本分块 → 生成嵌入 → 存储 → 检索。
• 嵌入是将文本转化为计算机可理解的数值表示，向量存储用于高效检索这些高维向量。
• 检索机制基于向量空间距离，相似的文本块距离更近，通过计算距离（如余弦距离）确定相关性。
• 在向量存储中，必须将原始文本内容与嵌入一同存储，以确保检索结果能提供事实依据。