Appearance
5.3 稀疏检索与 BM25
这一节讨论的是很多人学 RAG 时容易低估的一件事:为什么到了今天,BM25 这类关键词检索仍然非常重要。
不少初学者在接触向量检索后,会自然产生一种印象:
- 既然语义检索已经能找“意思接近”的内容,那关键词检索是不是可以退休了
这在真实系统里通常不成立。
因为很多业务问题要的不是“差不多相关”,而是:
- 术语必须命中
- 编号必须对上
- 产品名和接口名不能搞错
在这些地方,BM25 这类稀疏检索往往仍然非常有价值。
学这一节时,最值得先建立的判断
- BM25 不是过时方案,而是很多系统里仍然很稳的一路召回信号
- 它和向量检索通常不是竞争关系,而是互补关系
- 向量检索强在语义覆盖,BM25 强在精确命中
- 很多术语、编号、专有名词类问题,单靠向量检索往往不够稳
这一节会回答什么问题
读完这一节后,你最好能更稳地判断:
- BM25 到底解决的是什么类型的检索问题
- 为什么术语、编号、产品名类场景不能轻易丢掉关键词检索
- 什么时候更该优先上 BM25,什么时候更该把它和向量检索一起用