BM25 lexical search

RAG 管道优化：混合搜索策略 (RAG Pipeline Optimization: Hybrid Search Strategy)

🔍 语义搜索的局限性 (Limitations of Semantic Search)

• 问题现象: 纯语义搜索（Semantic Search）在处理特定、稀有关键词时，可能无法准确识别相关文档，导致返回结果不相关（例如，返回了无关的章节）。
• 目标: 提高搜索结果的准确性和相关性。

💡 混合搜索策略 (Hybrid Search Strategy)

• 核心思路: 将语义搜索（Semantic Search）与词汇搜索（Lexical Search）结合。
• 工作流程:
• 用户提问 → 同时输入给语义搜索系统和词汇搜索系统。
• 两个系统分别返回一组结果。
• 最终合并（Merge）两个系统的结果，以获得语义理解和精确文本匹配的优势。

📚 BM25 算法 (Lexical Search Method)

• 定义: BM25 (Best Match 25) 是一种常用的词汇搜索算法，用于评估文档与查询的相关性。
• BM25 工作步骤:
• 分词 (Tokenization): 将用户查询分解成独立的词汇（Query Terms）。
• 词频统计 (Frequency Counting): 统计每个查询词在所有文档（Text Chunks）中的出现次数。
• 权重分配 (Weight Assignment): 根据词汇的使用频率分配相对重要性。
• 高频词: 使用频率高，权重较低（不重要）。
• 低频词: 使用频率低，权重较高（更具搜索重要性）。
• 排序与匹配 (Scoring): 找到使用高权重词的文本块（Text Chunk）次数最多的文档，将其作为最佳搜索结果返回。

🎯 总结 (Summary)

• 语义搜索: 擅长理解查询的含义（Meaning）。
• 词汇搜索 (BM25): 擅长精确匹配特定的、稀有的关键词（Exact Match）。
• 混合系统: 结合两者，实现更全面、更准确的搜索结果。

Takeaways

• 纯语义搜索在处理特定或稀有关键词时，可能无法准确识别相关文档。
• 混合搜索策略的核心是结合语义搜索（理解含义）和词汇搜索（精确匹配）。
• BM25是一种词汇搜索算法，它通过分词、统计词频和分配权重来实现文档与查询的精确匹配。
• 最终的混合系统通过合并两种搜索结果，实现了更全面、更准确的搜索效果。