A Multi-Index RAG pipeline

混合搜索与检索 (Hybrid Search and Retrieval)

• 目标 (Goal): 将语义搜索 (Semantic Search) 和词汇搜索 (Lexical Search) 等不同搜索功能整合为一个统一的搜索流程 (Search Pipeline)。
• 核心组件：检索器 (Retriever)
• 作用 (Function): 接收用户查询 (User Query)，并将其转发给所有内部的索引 (Index) 进行搜索。
• 工作流程 (Workflow): 接收来自不同索引的搜索结果，然后负责将这些结果合并 (Merge) 起来。
• 设计原则： 检索器内部的各个索引（如向量索引 Vector Index 和 BM25 索引）必须拥有几乎相同的公共 API (Public API)，包括 add document 和 search 方法，以便于封装和扩展。

• 结果合并技术：倒数排名融合 (Reciprocal Rank Fusion, RRF)
• 目的 (Purpose): 结合来自不同搜索方法（如向量和 BM25）的排名结果，生成一个综合的、更准确的最终排名。
• 基本原理 (Mechanism):
• 将所有搜索结果和它们在各个索引中的排名 (Rank) 整理成一个表格。
• 对每个结果应用 RRF 公式计算一个综合得分 (Score)。
• RRF 公式概念： 对于每个排名位置 (k)，计算得分时使用 $\frac{1}{1 + \text{排名}}$ 的形式。
• 根据计算出的综合得分从高到低对结果进行排序。
• 优势 (Advantage): 能够有效结合不同方法的优势，提高搜索结果的整体相关性。

• 实现与应用 (Implementation and Application)
• 模块化 (Modularity): 每个索引（Vector Index, BM25 Index）都可以独立开发和测试。
• 可扩展性 (Extensibility): 由于统一的 API 设计，可以轻松地将新的搜索索引（无论其搜索功能如何）添加到检索器中，并参与结果合并。
• 效果验证 (Validation): 混合搜索（Hybrid Approach）相比单一搜索方法，能显著提高搜索结果的准确性，例如将不相关的结果替换为更相关的文档。

Takeaways

• 混合搜索旨在将语义搜索和词汇搜索等不同功能整合到一个统一的搜索流程中。
• 检索器是核心组件，负责接收用户查询，并协调所有内部索引（如向量索引、BM25索引）进行搜索和结果合并。
• 为确保模块化和可扩展性，所有内部索引必须拥有统一的公共 API，例如 add document 和 search 方法。
• 倒数排名融合 (RRF) 是关键技术，它通过计算 1 / (1 + 排名) 的形式，为来自不同方法的搜索结果生成综合得分。
• 混合搜索的优势在于能够有效结合不同方法的优势，显著提高搜索结果的整体准确性和相关性。