13.2.3 为什么很多团队卡在“Demo 很顺，落地很难”这一步？

先给结论：卡住的原因通常不是“模型不够强”，而是“缺少工程化能力”。没有观测、评估、更新与权限控制，Demo 很难走到生产。

下面是最常见的三类卡点，以及对应的解决路径。

1. 没有观测，问题无法定位

Demo 里你能手工检查结果，生产里必须靠系统观测。没有 tracing，你只知道“答案不对”，但不知道是检索、重排还是生成的问题。

解决方式：

• 给每次检索和生成打日志
• 记录召回结果与最终使用证据
• 使用链路追踪工具（如 LangSmith）

2. 没有评估，迭代方向全靠感觉

Demo 阶段可能“看起来还行”，但上线后质量波动会变成系统性问题。没有评估集，你根本不知道哪次改动变好了，哪次变差了。

解决方式：

• 建最小评测集
• 记录基线指标
• 每次改动后做对比

3. 没有更新与权限控制，系统快速失效

生产系统必须应对数据更新与权限隔离。没有增量更新与过滤机制，系统会“越来越旧”或“越用越乱”。

解决方式：

• 建立增量入库与去重流程
• 用 metadata/payload 做权限过滤
• 明确索引更新与回滚路径

一句话总结

Demo 很顺，是因为你可以手动兜底；落地很难，是因为生产需要工程化能力。补齐观测、评估、更新与权限，才能跨过这一步。