Text chunking strategies

📚 RAG 工作流与文档分块策略 (RAG Workflow & Chunking Strategies)

💡 RAG 核心流程 (RAG Pipeline)

• 基本流程： 原始文档 → 分块 (Chunk) → 检索相关文本 → 放入提示词 (Prompt) → 生成答案。
• 关键挑战： 文档分块是 RAG 流程中最关键、最复杂的步骤，直接影响最终答案的质量。
• 分块风险： 不合理的切分可能导致上下文丢失或引入不相关信息，造成错误结论。

🧱 三种主要分块策略 (Three Chunking Strategies)

1. 基于大小的分块 (Size-based Chunking)

• 定义： 将文档切分成长度大致相等的固定字符串。
• 优点： 实现简单，是生产环境中最常见的技术。
• 缺点： 易产生“截断词”；缺乏上下文（如遗漏章节标题）。
• 优化方案： 引入重叠策略 (Overlap)。通过包含相邻块的部分文本来增加上下文，但需注意会导致文本重复。

2. 基于结构的分块 (Structure-based Chunking)

• 定义： 根据文档的内在结构（如标题、段落、章节）进行划分。
• 实现方式： 识别特定的分隔符（如 Markdown 中的 ##）。
• 适用场景： 适用于格式清晰、结构明确的文档（如报告、Markdown 文件）。
• 局限性： 不适用于纯文本或缺乏明确结构的文档。

3. 基于语义的分块 (Semantic/NLP-based Chunking)

• 定义： 利用自然语言处理 (NLP) 技术，分析句子或段落间的相关性，将语义相关的文本组合成一个块。
• 具体实现方式：
• 按句子分块： 使用正则表达式分割句子（稳健方案）。
• 按章节分块： 按预设的结构（如摘要、第一章）分割。
• 按字符分块： 作为最后的备选方案 (Fallback)，适用性最广但效果不一定最佳。

⚙️ 策略选择与优化原则 (Selection & Optimization)

• 自定义设置： 默认设置（如长度 150，重叠 20）信息质量可能较差。建议根据文档特性调整块长度和重叠度（例如：长度 500，重叠 150）。
• 选择原则： 最佳策略完全取决于文档的性质和结构保证。
• 特殊例外： 对于代码等特殊文本，不应按句子分割，因为代码中的句号位置不具有语义意义。

Takeaways

• 文档分块是RAG流程中最关键的环节，直接决定了最终答案的质量。
• 主要分块策略包括基于大小（固定长度）、基于结构（利用文档层次）和基于语义（利用NLP相关性）。
• 基于大小的分块应引入重叠策略，以增加上下文信息并避免关键信息被截断。
• 选择最佳分块策略必须根据文档本身的性质和结构特点进行自定义调整。