Introducing Retrieval Augmented Generation

📚 学习笔记：检索增强生成 (RAG)

一、 核心概念

• RAG (Retrieval Augmented Generation)： 一种技术，用于增强大型语言模型（LLM）的能力，使其能够利用外部知识库（如大型文档）来回答特定问题。
• 解决的问题： 如何将超大型文档（如数百页的财务报告）中的特定信息有效地提供给 LLM，以便回答用户提出的具体问题。

二、 两种信息输入方案对比

• 方案一：直接输入全部文本 (Naive Approach)
• 方法： 将整个文档内容直接放入 LLM 的提示词（Prompt）中。
• 缺点：
• 长度限制： LLM 有硬性输入限制，超长文档会直接报错。
• 效果下降： 提示词越长，LLM 理解用户意图的能力越弱。
• 效率/成本： 处理时间长，运行成本高。
• 方案二：检索增强生成 (RAG)
• 方法： 采用两步流程，只将与问题最相关的文本片段提供给 LLM。
• 优点：
• 聚焦内容： LLM 仅关注相关片段，提高回答质量。
• 可扩展性： 可处理极大型文档或多个文档的集合。
• 效率/成本： 提示词更短，处理速度更快，成本更低。

三、 RAG 的工作流程与挑战

• RAG 的两个关键步骤：
• 预处理 (Preprocessing)： 将原始文档分割成小的、可管理的文本块（Chunks）。
• 检索 (Retrieval)： 当用户提问时，系统会搜索所有文本块，找出与用户问题最相关的片段。
• 生成 (Generation)： 将这些检索到的相关片段作为上下文，输入给 LLM 进行回答。
• RAG 的主要挑战/缺点：
• 复杂性增加： 需要额外的预处理步骤和搜索机制。
• 上下文缺失风险： 检索到的片段可能只包含部分信息，不一定包含 LLM 回答问题所需的所有完整上下文。
• 分块策略： 如何定义和分割文本块（例如，按固定长度分割 vs. 按标题分割）需要针对特定应用进行评估和优化。

Takeaways

• RAG（检索增强生成）是一种利用外部知识库来增强大型语言模型（LLM）回答特定问题的技术。
• RAG解决了直接输入超长文档时，LLM受限于输入长度和效果下降的问题。
• RAG的核心工作流程是：将文档分块（Preprocessing）→ 检索相关片段（Retrieval）→ LLM生成答案（Generation）。
• 实施RAG的主要挑战在于如何优化文本分块策略，并确保检索到的上下文信息完整。