Skip to content

5.3 稀疏检索与 BM25 ​

这一节讨论的是很多人学 RAG 时容易低估的一件事:为什么到了今天,BM25 这类关键词检索仍然非常重要。

不少初学者在接触向量检索后,会自然产生一种印象:

  • 既然语义检索已经能找“意思接近”的内容,那关键词检索是不是可以退休了

这在真实系统里通常不成立。

因为很多业务问题要的不是“差不多相关”,而是:

  • 术语必须命中
  • 编号必须对上
  • 产品名和接口名不能搞错

在这些地方,BM25 这类稀疏检索往往仍然非常有价值。

学这一节时,最值得先建立的判断 ​

  • BM25 不是过时方案,而是很多系统里仍然很稳的一路召回信号
  • 它和向量检索通常不是竞争关系,而是互补关系
  • 向量检索强在语义覆盖,BM25 强在精确命中
  • 很多术语、编号、专有名词类问题,单靠向量检索往往不够稳

这一节会回答什么问题 ​

读完这一节后,你最好能更稳地判断:

  • BM25 到底解决的是什么类型的检索问题
  • 为什么术语、编号、产品名类场景不能轻易丢掉关键词检索
  • 什么时候更该优先上 BM25,什么时候更该把它和向量检索一起用