Contextual retrieval

📝 RAG 流程中的上下文检索 (Contextual Retrieval)

核心概念

• 定义: 上下文检索 (Contextual Retrieval) 是一种提高检索增强生成 (RAG) 管道准确性的技术。
• 解决的问题: 传统的分块 (Chunking) 过程会导致单个文本块缺乏原始文档的整体上下文。
• 工作流程 (预处理阶段):
• 选取一个目标文本块 (Target Chunk) 和原始文档 (Source Document)。
• 将两者输入给大型语言模型 (LLM，如 Claude)，通过提示 (Prompt) 请求 LLM 撰写额外的上下文信息。
• 将 LLM 生成的额外上下文与原始文本块结合，形成“上下文化文本块” (Contextualized Chunk)。
• 将此上下文化文本块输入到向量索引 (Vector Index) 和 BM25 索引中进行存储。

处理大型文档的策略

• 挑战: 原始文档可能过大，无法一次性放入 LLM 的提示窗口。
• 解决方案: 不提供整个原始文档，而是提供精简的、相关的上下文信息：
• 起始块 (Starter Chunks): 包含文档摘要或整体概述的开头部分。
• 局部上下文 (Local Context): 包含目标文本块之前的一定数量的文本块，以提供局部背景。
• 目标: 显著减少输入 LLM 的文本量，同时最大化上下文的相关性。

关键优势

• 通过增加额外的上下文信息，提升检索的质量和准确性。
• 特别适用于文档内部章节间存在较多关联的复杂文档。

Takeaways

• 上下文检索旨在提高RAG管道的准确性，解决传统分块缺乏原始文档整体上下文的问题。
• 核心流程是利用LLM为目标文本块生成额外上下文，形成“上下文化文本块”再进行索引。
• 处理大型文档时，应提供精简的起始块和局部上下文，而非将整个原始文档输入LLM。
• 该技术通过增加上下文信息，显著提升检索质量，特别适用于文档内部章节关联复杂的场景。