Skip to content

13.2.2 第一次上线时,最值得优先补齐的 3~5 个能力是什么? ​

先给结论:第一次上线别追“最强效果”,先补齐“可观测、可评估、可更新、可过滤、可回退”这 5 类能力。

下面给出 5 个最值得优先补齐的能力,并说明具体怎么做。

1. 可观测(Tracing / 日志) ​

没有可观测,你就不知道问题出在哪一步。最小要求是:

  • 记录检索输入与召回结果
  • 记录生成使用的证据
  • 能追踪一次请求的完整链路

LangSmith 的 tracing 文档给出了“从链路到追踪”的实践路径,适合直接落地。

2. 可评估(最小评测集) ​

没有评估就无法稳定迭代。最小实践:

  • 准备 20-50 个稳定问题集
  • 记录基线结果
  • 每次改动后对比差异

LlamaIndex 的评估模块提供了最小评测与对比思路。

3. 可更新(数据与索引更新) ​

生产系统必须能更新数据,否则会越来越不准。最小要求:

  • 有增量更新流程
  • 能避免重复入库
  • 能在需要时重建索引

LlamaIndex 的 ingestion pipeline 提供了增量处理和去重的参考路径。

4. 可过滤(权限与范围控制) ​

上线后一定会遇到“不同用户看到不同内容”的需求。最小要求:

  • 基于元数据的过滤
  • 支持多租户或权限范围

向量数据库的 payload/metadata filtering 是最常见的落地方式。

5. 可回退(出错时有退路) ​

生产环境里模型、数据、索引都会出错。最小要求:

  • 有上一个稳定版本可回退
  • 有降级策略(比如只返回检索结果)

这不是“锦上添花”,而是“上线前的保险”。

一句话总结 ​

第一次上线要补齐的不是“更多功能”,而是“可观测、可评估、可更新、可过滤、可回退”。先稳,再快。