布吉岛 Agent

Appearance

11.2.3 如何处理高并发下的检索和生成延迟问题？ ​

先给结论：高并发下的延迟问题，优先级通常是：先稳住检索和重排，再控制生成成本与队列策略。单纯加机器往往只能缓解一时，不能解决结构性瓶颈。

RAG 的延迟来源通常不是单点，而是一条链路上的“叠加效应”。在高并发下，链路中任何一个环节变慢，都会放大到整体体验上。

一、先定位延迟来自哪一段 ​

高并发下最常见的延迟来源包括：

  • 检索服务变慢
  • 重排模型排队
  • 生成模型拥塞
  • 上下文构造和后处理消耗

如果不先定位，很容易出现：

  • 盲目优化错误环节

二、稳定检索层的常用做法 ​

检索层往往是高并发下的第一瓶颈。更稳的做法通常是：

  • 增加检索缓存
    先把高频查询从检索服务上卸下来

  • 预热热门文档和查询
    缩短第一次命中延迟

  • 控制候选池规模
    过大的 TopK 会放大后续成本

  • 读写分离或扩容检索集群
    降低单点压力

三、稳定重排层的常用做法 ​

重排在高并发下容易成为明显瓶颈，常见策略包括：

  • 按问题类型选择是否走重排
    高价值问题走重排，低价值问题跳过

  • 只重排前一部分候选
    减少重排调用量

  • 缓存重排结果
    对高频问题降低重复计算

四、稳定生成层的常用做法 ​

生成层通常是最贵也最慢的部分。更稳的做法包括：

  • 限制上下文长度
    控制 token 成本和延迟

  • 对高风险或低价值问题走“检索直出”
    减少生成调用

  • 使用更轻量模型处理低风险问题
    把重模型留给关键场景

  • 批量或异步处理
    把非强实时问题从主链路移出去

五、并发控制与排队策略 ​

即便每个环节都优化过，高并发仍然可能把系统压垮。这时需要：

  • 限流
    控制入口流量

  • 排队
    平滑突发流量

  • 超时与快速失败
    避免请求在链路中“拖死”

这些策略的目的不是让系统一直满负荷运行，而是：

  • 保证在极端流量下仍可用

六、一个更稳的优先级顺序 ​

如果你要排一个优化优先级，可以优先考虑：

  1. 缓存高频查询和重排结果
  2. 控制候选池与上下文长度
  3. 根据场景决定是否重排与生成
  4. 增加限流与排队策略
  5. 再考虑扩容硬件

这个顺序能最大化“每一步的收益”，避免只靠堆资源。

一个最小排查示意 ​

python
latency_hotspots = [
    "retrieval_latency",
    "rerank_latency",
    "context_build_latency",
    "generation_latency"
]

这个示意的重点是：

  • 先定位，再优化

一句话总结 ​

高并发下的延迟问题，必须先定位瓶颈环节，再按“缓存与降负、链路裁剪、并发控制、最后扩容”的顺序优化。否则你可能会花很多成本，却看不到稳定改善。