Appearance
10.4 建立系统化调优闭环
先给结论:RAG 调优如果没有闭环,基本等同于“经验试参”。闭环的核心不是加一堆流程,而是把评测、归因、实验和回归验证串成一个可重复的优化循环。
很多团队调优会陷入这种状态:
- 一次改动带来局部提升
- 但上线后又出现新的退化
- 最后每次优化都像在赌运气
这种问题的根因通常不是“工程不够努力”,而是:
- 缺少系统化的反馈闭环
所以这一节要解决的是:
- 怎样让每一次优化都可验证、可复盘、可积累
学这一节时,最值得先建立的判断
- 没有问题分类和误差归因,调优就很难有方向
- 没有评测闭环,优化很容易局部变好但整体变差
- 没有实验设计,难以判断是哪个改动真正生效
- 闭环的价值不是流程本身,而是让优化结果可以被重复验证
这一节会回答什么问题
读完这一节后,你最好能更稳地判断:
- 为什么“修好某一道题”并不等于系统整体更好
- 如何把优化动作和目标问题类型对应起来
- 评测闭环的最小可行形态应该长什么样