Text chunking strategies

📚 RAG 文档切块策略 (Chunking Strategies) 学习笔记

💡 核心概念与流程

• RAG 流程关键点： 原始文档 → 切块 (Chunking) → 检索相关文本 → 放入提示词 (Prompt) → 生成答案。
• 切块的重要性： 切块是 RAG 流程中最关键的一步，切块质量直接决定了检索的准确性和 RAG 的最终性能。
• 核心参数：
• 块长度 (Chunk Length)： 单个信息块的大小。
• 重叠 (Overlap)： 连续信息块之间共享的文本部分，用于保证上下文的连贯性。

🧱 三大切块策略分类

• 基于大小的切块 (Size-Based Chunking)
• 定义： 将文档简单地分割成固定长度的字符串。
• 改进： 引入重叠策略，增加每个块的上下文信息，但可能导致文本重复。
• 缺点： 容易切断单词或丢失段落标题等上下文信息。
• 基于结构的切块 (Structure-Based Chunking)
• 定义： 根据文档的天然结构（如标题、章节、摘要）进行划分。
• 适用场景： 结构清晰的文档（如 Markdown 格式）。
• 基于语义的切块 (Semantic-Based Chunking)
• 定义： 利用自然语言处理 (NLP) 技术，分析句子或段落间的相关性，将语义相关的文本组合成块。
• 特点： 是目前最先进的切块技术。

🛠️ 实践中的切块方法与选择指南

• 按句子切块 (Chunk by Sentence)：
• 实现： 使用正则表达式按句子分割文本。
• 默认配置： 通常每块包含 5 个句子，重叠 1 个句子。
• 适用性： 适用于结构相对标准的通用文本。
• 按章节切块 (Chunk by Section)：
• 实现： 根据文档的天然结构（如第一章、目录）进行分割。
• 适用性： 当文档结构有明确保证时，效果最佳（例如，确保获取完整的“执行摘要”）。
• 按字符切块 (Chunk by Character)：
• 实现： 基于大小策略，设置切块大小和重叠量。
• 适用性： 作为最终的备选方案，在大多数情况下能稳定工作。

🎯 策略选择决策树 (Decision Tree)

• 结构保证明确 → 优先使用 按章节切块。
• 无结构保证（用户提供纯文本） → 优先使用 按句子切块。
• 特殊内容（如代码） → 需注意“按句子切块”可能失效，需调整策略。
• 所有方法均失败 → 最终回退至 按字符切块。

Takeaways

• 切块是RAG流程中最关键的一步，其质量直接决定了检索的准确性和RAG的最终性能。
• 切块的核心参数包括块长度（Chunk Length）和重叠（Overlap），重叠用于确保上下文的连贯性。
• 语义切块是目前最先进的技术，它利用NLP技术分析文本间的相关性来组合信息块。
• 切块策略选择遵循决策路径：结构明确优先使用按章节切块，无结构优先使用按句子切块，最终回退至按字符切块。