Skip to content

10.4 建立系统化调优闭环 ​

先给结论:RAG 调优如果没有闭环,基本等同于“经验试参”。闭环的核心不是加一堆流程,而是把评测、归因、实验和回归验证串成一个可重复的优化循环。

很多团队调优会陷入这种状态:

  • 一次改动带来局部提升
  • 但上线后又出现新的退化
  • 最后每次优化都像在赌运气

这种问题的根因通常不是“工程不够努力”,而是:

  • 缺少系统化的反馈闭环

所以这一节要解决的是:

  • 怎样让每一次优化都可验证、可复盘、可积累

学这一节时,最值得先建立的判断 ​

  • 没有问题分类和误差归因,调优就很难有方向
  • 没有评测闭环,优化很容易局部变好但整体变差
  • 没有实验设计,难以判断是哪个改动真正生效
  • 闭环的价值不是流程本身,而是让优化结果可以被重复验证

这一节会回答什么问题 ​

读完这一节后,你最好能更稳地判断:

  • 为什么“修好某一道题”并不等于系统整体更好
  • 如何把优化动作和目标问题类型对应起来
  • 评测闭环的最小可行形态应该长什么样