A Multi-index RAG pipeline

📚 学习笔记：混合搜索与结果融合 (Hybrid Search and Result Fusion)

💡 核心概念：混合搜索架构 (Hybrid Search Architecture)

• 目标： 将不同的搜索方法（如语义搜索 Vector Index 和词法搜索 BM25 Index）整合到一个统一的搜索流程中。
• 实现方式： 创建一个名为 Retriever（检索器）的新类。
• 检索器职责：
• 接收用户查询。
• 将查询转发给所有内部的索引（如 Vector Index 和 BM25 Index）。
• 接收所有索引返回的结果。
• 执行结果合并操作。

🛠️ 关键技术：倒数排名融合 (Reciprocal Rank Fusion, RRF)

• 定义： 一种用于结合来自不同搜索方法的排名结果的算法。
• 工作流程：
• 收集所有搜索结果及其各自的排名（Rank）。
• 对每个文档应用 RRF 公式计算一个综合得分。
• 根据计算出的综合得分（从高到低）对所有结果进行排序。
• RRF 公式（概念描述）：
• 对于每个排名 r_i，其贡献的得分项为：1 除以 (排名 r_i + 常数 k)。
• 最终得分是所有这些得分项的总和。
• （注：常数 k 通常设为 1。）

📐 设计原则：API 统一性 (API Consistency)

• 关键要求： 为了使不同的搜索实现（如 Vector Index 和 BM25 Index）能够被 Retriever 轻松封装，它们必须拥有几乎完全相同的公共 API。
• 标准 API 方法：
• add document（添加文档）
• search（执行搜索）
• 优势： 这种设计实现了模块化和可扩展性。未来可以轻松添加新的搜索索引，只要它遵循上述 API 规范即可。

✅ 实践成果

• 通过结合多种搜索技术（混合搜索），可以显著提高检索的准确性，弥补单一搜索方法的不足。
• 结论： 混合检索器（Retriever）成功地将语义搜索的优势和词法搜索的优势结合起来，生成了更优质的搜索结果。

Takeaways

• 混合搜索架构通过 Retriever 统一整合了不同搜索方法（如向量索引和BM25索引）的查询和结果。
• 倒数排名融合（RRF）是一种结合不同搜索结果的算法，其核心是计算所有排名贡献项（1 除以 排名加常数 k）的总和。
• 为实现模块化，所有底层搜索索引必须遵循统一的公共 API 规范（例如 search 方法）。
• 混合搜索的最终目标是结合语义搜索和词法搜索的优势，显著提高检索的准确性和结果质量。