Introducing Retrieval Augmented Generation

检索增强生成 (RAG) 学习笔记

核心概念

• RAG (Retrieval Augmented Generation)： 检索增强生成，是一种用于解决大型文档问答问题的技术。
• 目标： 将大型文档（如数百页的财务报告）中的特定信息提取出来，供大型语言模型（LLM）回答用户提出的具体问题。

方案对比

方案一：直接输入整个文档 (Naive Approach)

• 方法： 将整个文档的全部文本直接放入提示词 (Prompt) 中，要求 LLM 回答问题。
• 缺点：
• 长度限制： 存在硬性文本长度限制，超长文档无法处理。
• 效果下降： 提示词越长，LLM 理解用户意图的难度越大。
• 成本与效率： 处理大型提示词的成本更高，处理时间更长。

方案二：检索增强生成 (RAG)

• 方法： 采用分步处理，只将与用户问题最相关的文本片段提供给 LLM。
• 流程（两步）：
• 预处理 (Preprocessing)： 将原始文档切分成多个小的文本块 (Chunks)。
• 检索与生成 (Retrieval & Generation)：
• 用户提出问题 → 系统搜索所有文本块 → 找到最相关的文本块 → 将这些相关文本块放入提示词 → LLM 基于这些片段回答问题。
• 优点：
• 可扩展性： 能够处理非常庞大或多份文档。
• 效率提升： 提示词更小，运行速度更快，成本更低。
• 专注度高： LLM 可以专注于最相关的上下文信息。
• 缺点/挑战：
• 复杂性高： 需要额外的预处理步骤（分块）和检索机制。
• 上下文丢失风险： 仅检索到的文本块可能不包含 LLM 回答问题所需的所有完整背景信息。
• 分块策略： 需要定义如何有效切分文本（例如，按固定长度或按章节标题）。

总结

• RAG 是解决大型文档问答问题的有效方案，但它需要投入更多的技术工作（如分块和检索机制）来克服方案一的局限性。

Takeaways

• RAG (检索增强生成) 是一种用于解决大型文档问答问题的技术，旨在将特定信息提取给 LLM。
• 直接输入整个文档的方法受限于文本长度、理解难度和高成本，无法有效处理超长文档。
• RAG 的核心流程是：将原始文档切块（预处理）→ 检索最相关的文本片段 → LLM 基于片段生成答案。
• RAG 提高了处理海量文档的可扩展性和效率，但需要克服分块策略的复杂性及上下文丢失的风险。