BM25 lexical search

📚 RAG 管道优化与搜索策略

一、 语义搜索（Semantic Search）的局限性

• 问题： 初始的语义搜索管道（RAG Pipeline）可能无法始终返回最准确或最相关的搜索结果。
• 现象： 即使语义搜索技术很优秀，在某些特殊案例（Corner Cases）中，它也可能返回不相关的文档（例如，返回了与事件无关的财务分析章节）。

二、 混合搜索策略（Hybrid Search）

• 核心思路： 结合语义搜索（Semantic Search）和词法搜索（Lexical Search）两种方法。
• 流程：
• 将用户查询输入语义搜索系统（生成嵌入/向量数据库）。
• 同时，将用户查询输入词法搜索系统。
• 获取两个系统的结果集。
• 将两个结果集进行合并（Merge），以平衡语义理解和精确文本匹配。

三、 词法搜索方法：BM25

• 定义： BM25（Best Match 25）是一种常用的经典文本搜索算法，用于实现词法搜索。
• BM25 算法流程：
• 分词（Tokenization）： 将用户查询分解为独立的词汇块。
• 词频统计： 计算每个查询词在所有文档（文本块）中的出现频率。
• 权重分配： 根据词频分配相对重要性。
• 使用频率高（普遍）的词 → 权重低（不重要）。
• 使用频率低（稀有）的词 → 权重高（重要）。
• 结果匹配： 找到使用高权重词次数最多的文本块，将其作为最佳搜索结果。

四、 实施步骤

• 索引构建：
• 按章节对文本进行分块（Chunking by Section）。
• 创建 BM25 索引存储（BM25 Index Store）。
• 将所有文本块添加到存储中。
• 最终目标： 将语义搜索和 BM25 词法搜索的输出结果进行合并，以获得更全面、更准确的搜索结果

Takeaways

• 语义搜索在特殊案例中可能返回不相关结果，存在局限性。
• 混合搜索策略通过结合语义搜索和词法搜索来提高搜索的准确性和全面性。
• BM25 是一种词法搜索算法，其权重分配原则是：使用频率低（稀有）的词 → 权重高（重要）。
• 优化流程包括构建 BM25 索引，并将语义搜索和词法搜索的输出结果进行合并。