从要改进的决策出发，把数据分析项目做到真正投入使用

## 分阶段推进分析，假设不成立时退回前一步 将项目组织为相互衔接的生命周期，而不是僵化的顺序。依次开展决策理解、数据理解、数据准备、建模、评估和部署，但只要证据推翻某项假设或揭示新要求，就应返回前面的阶段。 为每个阶段定义预期成果和复查点。记录输入、决策、发现、未解决问题以及前进或返回的理由。生命周期可以根据问题侧重不同阶段，但不能仅因某个阶段看似不重要就忽略下游问题。 在整个项目中始终明确决策问题。只有当分析活动能够改善决策、流程、产品或可衡量的结果时，它才有价值。 ## 把要改进的决策转化为分析问题和计划 首先说明决策背景、期望结果、当前流程、利益相关者以及工作预期创造的价值。分别从决策和分析角度定义可衡量的成功标准；两者必须分开，避免技术性能在不知不觉中取代现实价值。 盘点可用人员、数据、工具、时间、预算和领域知识。记录要求、假设、法律或运营限制、术语、风险、应急方案、成本和预期收益。 将决策目标转化为分析问题、目标产出和验收标准。制定包含阶段、依赖项、资源、里程碑、复查点和候选技术的项目计划。当后续证据改变最初的理解时，应修订计划。 ## 探索数据，确认它能否回答问题 收集一组初始的代表性数据，并记录其来源、所有权、获取条件、时间覆盖范围和已知限制。在得出结论前，描述记录数、字段、类型、范围、分布、关系和重要元数据。 探索数据以检验早期假设、揭示意外模式，并识别有价值或无关的字段。区分观察与解释，使每项结论都能追溯到支持它的数据和方法。 验证完整性、有效性、一致性、唯一性、及时性以及对目标决策的适用性。在数据质量报告中记录缺失值、错误、噪声、偏差风险和收集缺口。如果数据无法支持目标，应回到目标、收集计划或项目范围，而不是强行建立模型。 ## 清理并合并数据，记录每一处改动 根据相关性、质量、技术限制和计划采用的评估设计选择记录和字段。说明纳入或排除数据的理由，使后续审查者能够复现分析总体。 使用明确规则处理错误和缺失值。只有在含义和计算方式已有记录时，才能构造派生属性。使用经过验证的键和粒度整合数据源，再按照所选方法的要求调整格式，同时不得改变预期含义。 维护转换记录，涵盖数据源版本、选择规则、清理操作、派生字段、连接、格式调整和最终质量。只要准备过程发现异常或改变重要字段的解释，就应重新进行数据理解。 ## 选择模型，并在建模前定好公平的测试方法 根据分析目标、数据特征、假设、可解释性要求、运营限制和成功标准选择技术。记录每种候选方法适用的理由，以及哪些条件会使其失效。 在拟合模型前设计评估方案。定义训练和测试分区、比较基线、指标、抽样规则，以及防止评估数据影响模型构建的程序。比较候选方法时必须使用同一设计。 当不确定性值得比较时，构建多个有充分依据的候选方案。为每次运行记录数据版本、特征、参数、假设、执行条件和结果。按照预先定义的技术标准评估模型质量并调查失败，不要仅因某个结果排名最高就选择它。 ## 不只看分数，还要看结果是否有助于决策 同时根据技术标准和最初的决策成功标准审查分析结果。确认发现足够准确、与所述问题相关、利益相关者能够理解，并且在运营限制内可行。 审查整个流程，查找遗漏的要求、薄弱假设、数据限制、死胡同、意外结果和其他选择。证据不足时返回前面的阶段；迭代是预期行为，应如实记录而不是隐藏。 明确选择下一步：进入部署、改进当前方法、替换方法、收集更好的数据或停止。记录支持该决策的证据。如果技术上出色的结果未能解决决策目标，就绝不能继续推进。 ## 把结果投入使用，并监控准确度是否下降 部署既可以指将模型集成到运营系统，也可以指传达发现，使人们能够改变决策或流程。对于每项结果，应明确受众、负责人、交付方式、依赖项、实施步骤、技术要求和应急方案。 在发布前定义监控方式。指定要跟踪的因素、有效性与准确性的衡量方式、报告频率、警报阈值，以及表示漂移、过期或失去效用的条件。预先决定每种条件需要重新校准、重建、替换还是启动新项目。 与系统运营人员、数据维护人员、决策者和受结果影响的人协调。在可行时自动执行常规监控，但对于依赖情境或可接受权衡的判断，应保留人工审查。 ## 写好最终记录，把经验留给下一个项目 生成最终记录，涵盖原始问题、成功标准、方法、成本、计划偏差、数据限制、结果、部署方案、监控计划和建议的后续工作。可根据不同受众调整说明的详细程度，但不能改变底层证据。 复查每个阶段贡献的价值、可避免的工作、失败、死胡同、意外情况和更好的替代方案。在可行时，收集项目参与者和受部署结果影响者的反馈。 以未来项目能够找到并理解的形式保存决策、报告、可复用转换、评估设计和经验教训。评价项目时不仅要看模型质量，还要看它是否实现预期收益，以及是否提升了组织开展下一次分析的能力。