Introducing Retrieval Augmented Generation

检索增强生成 (RAG) 核心概念学习笔记

一、 RAG 概述

• 定义： Retrieval Augmented Generation (RAG)，即检索增强生成。
• 目标： 解决如何将超大型文档（如数百页的金融报告）中的特定信息，有效地提供给大型语言模型（LLM，如 Claude）以回答用户特定问题。

二、 解决方案对比

**1. 方案一：直接输入全部文档 (Naive Approach)**

• 方法： 将整个文档的全部文本直接放入 LLM 的提示词 (Prompt) 中。
• 缺点 (Limitations)：
• 长度限制： 存在硬性文本长度限制，超长文档会直接导致错误。
• 效果衰减： 提示词越长，LLM 理解用户意图的能力越弱，难以聚焦。
• 信息分散： 无法保证 LLM 能够准确找到所需的特定信息。

**2. 方案二：检索增强生成 (RAG)**

• 方法： 将文档分解 → 检索相关片段 → 仅将最相关的片段放入提示词。
• 优势 (Upsides)：
• 聚焦性： LLM 仅需关注与问题最相关的少量内容。
• 可扩展性： 能够处理极大型文档和多个文档的集合。
• 效率和成本： 提示词更小 → 运行时间更短，成本更低。

三、 RAG 的技术挑战 (Challenges)

• 复杂性高： RAG 引入了比方案一更多的技术步骤。
• 预处理步骤 (Pre-processing)： 必须先将原始文档拆分成小块 (Chunks)。
• 检索机制 (Retrieval Mechanism)： 需要设计搜索机制，以找到与用户问题最相关的文本块。
• 块定义 (Chunk Definition)： 文本块的划分方式多种多样（如按固定长度划分，或按标题划分），需要根据应用场景进行评估。
• 上下文完整性： 即使找到了相关的文本块，也无法保证这些片段包含了 LLM 回答问题所需的所有完整上下文。

Takeaways

• 检索增强生成 (RAG) 的核心目标是解决如何将超大型文档中的特定信息有效提供给大型语言模型 (LLM) 以回答用户问题。
• RAG 的工作机制是：将文档分解 → 检索相关片段 → 仅将最相关的片段放入提示词中。
• RAG 解决了直接输入全部文档的长度限制、效果衰减和信息分散等问题，提高了聚焦性和可扩展性。
• RAG 的技术挑战在于必须进行文档预处理（分块/Chunking），并设计检索机制以确保上下文完整性。