布吉岛 Agent

Appearance

2.3.1 知识库数据清洗通常要做什么？ ​

先给结论：数据清洗不是“顺手整理一下”，而是在把原始资料变成可用知识。

如果不做这一步，后面很多检索和生成问题其实从一开始就已经注定了。

知识库清洗最常见的几类工作 ​

1. 提取真正的正文 ​

先把对 RAG 有用的主体内容拿出来，去掉明显无关部分，比如：

  • 导航栏
  • 页眉页脚
  • 广告区
  • 推荐阅读
  • 版权声明
  • 重复模板

这一步的目标，是让知识库里尽量少装“页面噪声”。

2. 统一文本格式 ​

不同来源的内容格式可能非常乱，比如：

  • 换行风格不一致
  • 标点格式不一致
  • 标题层级不一致
  • 编码异常
  • 空白字符混乱

统一格式的意义，是为后续切块和索引建立更稳定的输入。

3. 去重与合并近重复内容 ​

很多知识库里，同一段内容会反复出现：

  • 多个页面复用同一模板
  • 同一制度有多个版本
  • 不同渠道同步了相同 FAQ

如果不处理，后面召回结果就容易被重复片段占满。

4. 保留或恢复结构 ​

清洗不是把所有内容压成一坨纯文本。很多时候还要保留：

  • 标题层级
  • 段落边界
  • 列表关系
  • 表格字段
  • 文档来源

因为这些结构信息后面会直接影响检索和生成。

5. 标准化元数据字段 ​

比如统一：

  • 标题字段名
  • 创建时间和更新时间格式
  • 文档来源标识
  • 所属部门
  • 权限范围
  • 产品线或业务线标签

元数据不统一，后面很难稳定做过滤、排序和治理。

6. 识别低质量内容 ​

有些内容虽然“看起来是文本”，但其实对 RAG 几乎没有价值，比如：

  • 只有几句空泛宣传语
  • 大量乱码
  • 结构断裂严重
  • 缺少上下文

这类内容应该尽量在进入索引前就被识别出来。

如果把这些动作放在一起看，知识库清洗其实不只是“删脏东西”，而是在回答三个问题：

  1. 哪些内容应该留下？
  2. 哪些内容应该删掉？
  3. 哪些内容虽然有价值，但还要先加工后才能留下？

一个简单的数据清洗示意 ​

如果把这些步骤压缩成一段最小代码，通常会长这样：

python
import re


def clean_document(doc: dict) -> dict | None:
    text = doc["content"]

    noise_patterns = [
        r"首页\s*>\s*帮助中心.*",
        r"推荐阅读.*",
        r"版权所有.*"
    ]

    for pattern in noise_patterns:
        text = re.sub(pattern, "", text)

    text = re.sub(r"\s+", " ", text).strip()

    if len(text) < 30:
        return None

    return {
        "text": text,
        "metadata": {
            "title": doc["title"].strip(),
            "source": doc["url"],
            "updated_at": doc["updated_at"],
            "doc_type": doc["doc_type"].lower()
        }
    }

这类代码虽然简单，但已经对应了几个最常见动作：

  • 删模板噪声
  • 统一空白和格式
  • 过滤低价值内容
  • 顺手把元数据整理好

真实系统里当然不会只靠这几行代码，但它已经体现了一个很重要的顺序：

  • 先清明显噪声
  • 再统一格式
  • 再挡掉低价值内容
  • 最后把可治理的 metadata 一起补齐

如果顺序反过来，比如先切块、先入索引，再回头补清洗，代价通常会更高。

为什么清洗不是一次性的 ​

很多人把清洗理解成导入前的一次动作，但真实环境里，知识库会不断更新，所以清洗通常要变成一条稳定流程。

也就是说，系统不只是“曾经清洗过”，而是要保证：

  • 新内容进来时也能自动清洗
  • 老内容更新时能重新处理
  • 清洗规则变化后能重新回放

这也是为什么成熟系统里的清洗，往往更像一条可重复执行的数据管道，而不是一段只跑过一次的脚本。

一个更现实的实施顺序 ​

如果你现在要开始搭知识库清洗流程，比较实际的推进顺序通常是：

  1. 先定义“什么算正文，什么算噪声”。 也就是先把最明显的导航、页脚、模板区、空壳页识别出来。

  2. 再统一最关键的格式和字段。 比如标题、来源、更新时间、版本、租户、权限这些字段先统一下来。

  3. 再做低质量内容拦截。 让乱码、空页面、严重结构损坏的内容先别进主知识库。

  4. 最后结合召回结果继续迭代。 看高频误召回、重复候选、模板噪声是不是明显减少了。

这个顺序的价值在于：它先解决最确定、最容易规则化的问题，再把更难的问题留给后续迭代。

清洗的目标到底是什么 ​

本质上，清洗是在做三件事：

  1. 减少噪声
  2. 保留语义
  3. 增强可检索性

如果一个清洗动作只是“删了很多东西”，但把原本有价值的结构和上下文也删掉了，那也不算做好。

所以更好的判断标准通常不是“删掉了多少”，而是：

  • 清洗后正文占比是不是更高
  • 检索结果是不是更像真正答案证据
  • metadata 过滤是不是更稳定
  • 用户看到的引用内容是不是更自然

如果这些结果没有变好，说明清洗动作还没有真正转化成系统收益。

清洗时最容易犯的几个错误 ​

1. 只清正文，不清 metadata ​

很多团队会认真清理正文里的噪声，却忽略来源、时间、版本、权限这些字段的统一。结果正文看起来干净了，但后面的过滤和治理还是不稳。

2. 只做规则清理，不做抽样验证 ​

规则能解决很多明显问题，但如果完全不抽样检查，就很容易把有价值的标题、表头、图注也一起删掉。

3. 只在导入时清一次 ​

如果后续新文档格式变了、模板变了、解析器变了，而清洗规则没有同步更新，知识库质量很快又会回退。

一句话总结 ​

知识库数据清洗通常不是一两个小动作，而是一整套把原始资料变成“干净、结构清楚、字段统一、可进入索引”的准备过程。它决定的是后面整条 RAG 链路能不能站稳。