Appearance
13.2.2 第一次上线时,最值得优先补齐的 3~5 个能力是什么?
先给结论:第一次上线别追“最强效果”,先补齐“可观测、可评估、可更新、可过滤、可回退”这 5 类能力。
下面给出 5 个最值得优先补齐的能力,并说明具体怎么做。
1. 可观测(Tracing / 日志)
没有可观测,你就不知道问题出在哪一步。最小要求是:
- 记录检索输入与召回结果
- 记录生成使用的证据
- 能追踪一次请求的完整链路
LangSmith 的 tracing 文档给出了“从链路到追踪”的实践路径,适合直接落地。
2. 可评估(最小评测集)
没有评估就无法稳定迭代。最小实践:
- 准备 20-50 个稳定问题集
- 记录基线结果
- 每次改动后对比差异
LlamaIndex 的评估模块提供了最小评测与对比思路。
3. 可更新(数据与索引更新)
生产系统必须能更新数据,否则会越来越不准。最小要求:
- 有增量更新流程
- 能避免重复入库
- 能在需要时重建索引
LlamaIndex 的 ingestion pipeline 提供了增量处理和去重的参考路径。
4. 可过滤(权限与范围控制)
上线后一定会遇到“不同用户看到不同内容”的需求。最小要求:
- 基于元数据的过滤
- 支持多租户或权限范围
向量数据库的 payload/metadata filtering 是最常见的落地方式。
5. 可回退(出错时有退路)
生产环境里模型、数据、索引都会出错。最小要求:
- 有上一个稳定版本可回退
- 有降级策略(比如只返回检索结果)
这不是“锦上添花”,而是“上线前的保险”。
一句话总结
第一次上线要补齐的不是“更多功能”,而是“可观测、可评估、可更新、可过滤、可回退”。先稳,再快。