Reranking results

📚 学习笔记：检索增强的重排序技术 (Re-ranking)

一、 现有检索方法的局限性

• 混合检索 (Hybrid Retrieval)： 结合了向量索引 (Vector Index) 和 BM25 索引。
• 问题： 尽管复杂度增加，但仍存在检索过程中的弱点 (Weak Points)，无法保证最相关的结果一定排在首位。
• 示例： 即使查询非常具体（如指定团队和事件），初始检索结果也可能未能将最相关的部分置于顶部。

二、 核心概念：重排序 (Re-ranking)

• 定义： 一种在初始检索（向量索引 + BM25）之后添加的后处理步骤 (Post-processing step)。
• 目的： 提高检索结果的准确性 (Retrieval Accuracy)。
• 工作流程：
• 运行初始检索 → 合并结果。
• 将初始结果和用户查询传递给一个重排序器 (Re-ranker)。
• 重排序器（使用大语言模型，如 Claude）根据查询和文档，重新排列所有相关文档的顺序。

三、 重排序机制 (LLM Prompt)

• 输入 (Input)：
• 用户的原始查询 (User's Question)。
• 初始检索找到的所有相关文档集合 (Set of initial search results)。
• LLM 任务 (Task)：
• 要求 LLM 识别并返回 N 个最相关的文档。
• 返回顺序必须是相关性递减的 (Decreasing relevance)。
• 效率优化 (Efficiency)：
• 为提高效率，不要求 LLM 返回文档的完整文本。
• 系统预先为每个文档生成唯一的文档 ID (Document IDs)。
• LLM 仅返回这些文档 ID 的有序列表，从而显著提高处理速度。

四、 优缺点总结

• 优点 (Pros)： 显著提高检索管道的准确性 (Accuracy)。
• 缺点 (Cons)： 增加了搜索管道的延迟 (Latency)，因为需要等待 LLM 调用完成。

Takeaways

• 重排序（Re-ranking）是初始检索（如混合检索）之后的后处理步骤，旨在提高检索结果的准确性。
• 重排序器（通常是LLM）接收用户查询和初始文档集合，并根据相关性重新排列文档的顺序。
• 为提高处理效率，系统不要求LLM返回完整的文档文本，而是仅返回文档ID的有序列表。
• 重排序的优势是显著提高检索管道的准确性，但缺点是会增加搜索管道的延迟。