Text chunking strategies

📚 RAG 工作流与分块策略核心笔记

💡 RAG 核心流程 (Core RAG Pipeline)

• 基本流程： 原始文档 → 分块 (Chunking) → 检索相关文本 → 构造提示 (Prompt) → 生成答案。
• 关键点： 文档分块是 RAG 流程中最关键的一步，其质量直接决定了最终检索和生成答案的准确性。
• 分块错误风险： 分块不当会导致检索到的文本上下文错误，影响回答的准确性。

🛠️ 三大分块策略分类 (Three Main Chunking Strategies)

• 基于大小的分块 (Size-Based Chunking)
• 方法： 将文档简单分割成固定长度的文本块。
• 改进： 采用重叠策略 (Overlap)，在相邻块之间保留一定长度的重复文本，以增加每个块的上下文信息。
• 缺点： 易造成文本截断或信息缺失。
• 基于结构的分块 (Structure-Based Chunking)
• 方法： 依据文档的内在结构（如标题、章节、段落）进行划分。
• 适用场景： 适用于具有明确格式（如 Markdown）的文档。
• 基于语义的分块 (Semantic-Based Chunking)
• 方法： 利用 NLP 技术分析句子或段落间的相关性，将语义相关的文本组合成一个块。
• 特点： 上下文关联性最强，是目前最先进的技术。

⚙️ 实践分块方法与选择标准 (Practical Methods & Selection Criteria)

• 常见分块方法：
• 按句子分块 (Chunk by Sentence)： 使用正则表达式 (Regex) 按句子分割。
• 按章节分块 (Chunk by Section)： 根据文档的结构（如目录、章节名）进行分割。
• 按字符分块 (Chunk by Character)： 当其他方法失效时（如处理代码），保证稳定运行的兜底方案。
• 分块参数调整：
• 默认设置： 长度 150，重叠 20。
• 优化方向： 适当增加分块长度和重叠度，以提升信息量和上下文关联性。
• 策略选择优先级 (Decision Hierarchy)：
• 结构清晰 → 优先使用按章节分块。
• 结构不确定 → 其次使用按句子分块。
• 极端情况/兜底 → 采用按字符分块。

Takeaways

• RAG流程中，文档分块（Chunking）的质量是决定最终检索和生成答案准确性的最关键环节。
• 分块策略应遵循优先级：结构清晰优先（按章节分块）→ 结构不确定（按句子分块）→ 极端情况（按字符分块）。
• 语义分块是目前最先进的策略，它通过NLP技术确保文本块之间具有最强的上下文关联性。
• 采用基于大小的分块时，必须引入重叠策略（Overlap），以避免关键信息因文本截断而丢失。