从收集到销毁，持续确认数据质量符合实际用途

## 按数据的用途确定所需的质量标准 将质量视为数据支持特定决策、服务、分析或义务的程度。一个数据集可能格式规范，却不适合某项特定用途，因此应从使用情境出发，而不是笼统地承诺数据是“好的”。 - 明确预定用户、决策、输出以及错误造成的后果。 - 记录对该用途至关重要的各项质量属性的最低可接受阈值。 - 将可观察证据与对适用性的假设区分开来。 - 当目的、用户或运行环境发生变化时，重新评估适用性。 ## 为每个数据集和每项修复指定负责人 让质量成为具有明确决策权的共同运营责任。高级领导者为工作提供资金并确定优先级，承担责任的所有者接受剩余风险，专业人员设计控制措施，而创建或处理数据的人员则在日常工作中执行这些措施。 - 为每个重要数据集、控制措施、问题和整改行动指定负责人。 - 明确谁可以接受例外，以及必须通知谁。 - 针对参与者的职责，培训其掌握相关标准和检查方法。 - 按固定周期审查能力缺口、反复出现的缺陷和逾期行动。 ## 了解数据的实际用法，并按影响排定修复顺序 收集数据实际如何被使用的证据，而不能只依据生产者对用途的预期。不同用户对新鲜度、详细程度、覆盖范围或精度的要求可能不同，一项改进也可能有利于某种用途，却削弱另一种用途。 - 访谈具有代表性的数据生产者、处理人员、分析人员、运营人员和接收者。 - 将每种用途映射到相应决策、依赖关系、失败影响和不确定性容忍度。 - 根据用户价值、避免的损害、影响范围和实施成本确定改进优先级。 - 当需求变化或出现后果重大的新用途时，重新审视优先级。 ## 为从规划到销毁的每个阶段设定检查 将生命周期建模为相互连接的循环：规划、获取、准备与维护、使用、共享，最后是保留或处置。质量工作必须随数据贯穿这些阶段，因为早期引入的缺陷可能到后续决策或发布时才会显现。 - 为每个阶段定义准入标准、退出标准、验证、证据和责任归属。 - 从来源开始跟踪重要字段，经过各项转换，直至最终输出。 - 将问题返回到能够消除其原因的最早阶段。 - 保留足够的数据血缘和决策历史，使审查者能够重建所发生的过程。 ## 在收集数据时就拦下错误的值 在采集环节防止可避免的缺陷。收集规则应让提供预期值变得容易，在不掩盖合理例外的前提下拒绝不可能的值，并保留足够的上下文来说明每条记录的来源和含义。 - 验证必填字段、格式、范围、标识符和参考值。 - 检测缺失、重复、冲突或发生意外变化的记录。 - 记录来源、收集时间、定义和已知转换。 - 提供反馈渠道，使下游用户能够向源数据负责人报告缺陷。 ## 在处理数据前后核对条数和合计 在数据被标准化、关联、转换、迁移或刷新时保护其含义。在可行时自动执行稳定的检查，但对于含义模糊的关系、重大异常以及可能改变解释的变化，仍应保留人工审查。 - 根据已记录的规则和具有代表性的边界情况测试转换。 - 对账处理前后的数量、总额、键和关键属性。 - 监控漂移、过时记录、模式变化、断开的链接和无法解释的数据量变化。 - 将定义和控制措施与实现它们的系统一同进行版本管理。 ## 在使用或共享前，确认数据仍适合该用途 在进行分析、运营发布或对外共享之前，确认数据仍适合该项确切用途。应同时实施访问、隐私、披露和质量控制，因为技术上有效的数据在缺少上下文或保护措施时仍可能造成损害。 - 对照源证据和已知限制审查重大输出。 - 在发布或传输数据时，同时提供定义、血缘、质量发现和允许的用途。 - 当缺陷改变了先前结论时，记录更正并通知受影响的接收者。 - 在保留或处置期间，按要求的期限维护完整性、审计证据和必要知识。 ## 不合成一个分数，按问题类型分别衡量 针对不同的失败模式采用独立指标，而不要将其压缩成一个分数。至少应考虑：必需值是否存在、每个实体是否只被表示一次、不同来源的值是否一致、数据是否足够新、值是否符合既定规则，以及记录是否反映现实。 - 定义每项指标的总体、分子、分母、排除项和时间窗口。 - 根据使用场景和风险设置阈值，而不是照搬通用目标。 - 将规则符合性与现实世界中的正确性区分开来。 - 当决策依赖核心维度未涵盖的特性时，增加专业维度。 ## 告诉使用者检查了什么、没检查什么 向用户提供足够的信息，使其能够自行判断适用性。质量报告应说明测试了什么、未测试什么、结果如何、业务影响、尚未解决的不确定性，以及下一项行动的负责人和时间。 - 使用通俗语言，同时保留实现可复现性所需的定义。 - 同时报告当前状态和变化方向。 - 说明权衡，例如在覆盖不足时提前发布，或等待更有力的保证。 - 区分已确认的缺陷、疑似风险、已接受的例外和未知事项。 ## 从根源修复反复出现的错误，用证据关闭问题 将反复出现的缺陷视为流程薄弱的信号，而不是彼此孤立的清理任务。先控制眼前的损害，调查缺陷如何进入流程以及为何未被发现，然后改变最早且有效的控制措施，并验证该改变能否长期发挥作用。 - 记录问题的严重程度、受影响用途、证据、负责人、到期日和状态。 - 分析不同事件、阶段、来源和控制措施中的模式。 - 将结果与阈值和之前的时期进行比较，以识别恶化或改善。 - 只有在证据表明根本原因已受到控制且下游不再存在重大影响后，才能关闭行动。