Skip to content

11.2 性能、缓存与高并发 ​

先给结论:RAG 一上线就会被“性能、成本、稳定性”三件事拉扯。要稳住线上体验,必须把缓存、并发控制和降级策略当成主链路的一部分,而不是上线后再补。

很多系统在小流量时看起来没问题,但一旦进入真实并发,就会暴露:

  • 延迟不可控
  • 成本迅速放大
  • 单点故障导致整体不可用

这一节就是把这些问题拆清楚,让你知道该在哪些位置做工程防线。

学这一节时,最值得先建立的判断 ​

  • 缓存是性能问题的第一层防线,但必须和权限、版本、时效绑定
  • 不是所有环节都适合缓存,缓存错了反而会引入更大风险
  • 高并发的核心不是“更强机器”,而是合理的队列、限流和降级链路

这一节会回答什么问题 ​

读完这一节后,你最好能更稳地判断:

  • 缓存应该放在哪里,不能放在哪里
  • 并发压力来时,哪几类策略能快速稳住延迟
  • 哪些降级路径是上线前就必须准备的