先核实数据的收集方式、排除其他解释，再得出分析结论

## 从问题出发，弄清数据是怎样收集的 从具体问题或假设出发，而不是从偏好的工具或方法出发。说明分析应为哪项决策提供依据，以及什么证据可能改变该决策。 计算指标之前，记录以下内容： - 数据所代表的总体、事件或过程； - 以何种方式、在何处以及何时采集观测值； - 实验分配、测量机制和资格规则； - 已知缺口、记录延迟、抽样方式和保留期限； - 测量期间发生的异常事件； - 分析单位以及观测值之间的依赖关系。 尽可能直接查看产品、流程或实验。无法直接使用时，查阅可信的行为说明和采集规范。 不要仅因为字段名称看似合理，就假定表格代表了目标现象。 记录最初的问题、假设和预期保持不变的条件。探索期间可以调整问题，但要区分修改后的问题与最初的问题。 ## 先检查数据，再把结果描述和好坏判断分开 即使工作在不同阶段之间反复推进，也要明确区分三个分析阶段。 1. 验证用于判断数据是否内部一致、采集正确，并且代表预期过程。 2. 描述用于陈述测量结果显示了什么，不赋予其价值或收益判断。 3. 评价用于判断所描述的变化对相关人员、系统或目标是否有利。 在笔记和报告中标明每项主张所属的阶段，并在依赖描述性结果之前解决验证失败。 以中性语言描述方向、幅度、不确定性和总体。明确写出评价标准，不要把它隐藏在指标名称中。 回答主要问题之前，检查预期应保持稳定的变量： - 总体规模与构成； - 分配数量或暴露数量； - 事件量与查询量； - 日志记录率与错误率； - 缺失情况与延迟； - 不受影响的参照指标。 在排除合理的测量变化或总体变化之前，不要解释目标指标的变化。 ## 不只看平均值，还要看分布和原始样例 不要只依赖平均值或其他汇总统计量。检查能够揭示形状、离散程度、尾部、多峰性和不连续性的表示方式。 选择合适的直方图、分位数、累积分布或其他分布视图。 采用适合抽样结构和依赖结构的方法，为估计值附上不确定性。大规模数据并不会消除随机性、偏差或测量误差。 区分对错误目标量的精确估计与对预期目标量的有效估计。 每当新的分析逻辑转换或分类数据时，都要检查原始实例。从以下范围抽样： - 每个重要类别； - 常见类别与罕见类别； - 数值分布的中心区域与极端区域； - 成功、失败、缺失和格式异常的情况； - 接近决策阈值的记录。 排除或合并异常值之前先进行调查；异常值可能暴露测量机制缺陷、未计数的行为、无效假设或确实罕见的情况。 如果过滤异常值或将其分组，应记录规则、数量、理由以及对结论的影响。 只有当剩余不确定性对决策已不再重要时，才限制进一步调查。 ## 按群体和时间段拆分结果，看趋势是否一致 当基础行为可能随总体或环境而变化时，将汇总结果划分为子组。依据领域知识、采集边界和合理的故障模式选择切分维度，不要无休止地搜寻醒目结果。 对每个重要切片，检查： - 指标值与不确定性； - 样本量与缺失情况； - 各比较组所占的相对比例； - 数据质量与交互差异； - 与汇总结果的一致性。 比较不同组或不同时段时，检查构成变化；即使各切片内的行为保持稳定，子组混合比例的变化也可能逆转或扭曲汇总结论。 不要以处理或系统反馈所改变的变量作为条件，除非明确处理由此产生的偏差。 按时间切分数据，以发现上线、故障、季节性、日志记录变化和渐进漂移。不要仅因某个时段异常就将其舍弃；应先寻找因果解释。 在多个时间窗口、总体和合理的随机子样本上检验稳定性。 通过评估效应量、不确定性、受影响总体、决策成本以及采取或不采取行动的后果，区分统计显著性与实际意义。 不具备统计显著性，并不能证明不存在有实际意义的效应。 ## 写清指标定义和每次筛选去掉了多少数据 定义每项指标，使其他分析人员能够复现其总体和计算过程。对于比率，要写明分子、分母、单位、时间窗口和资格条件。 如果某项指标只在事件发生后才有定义，应明确说明这一条件限定。 把过滤作为分析的一部分进行追踪，而不是将其变成不可见的预处理。每一步过滤都要记录： - 规则及其目的； - 处理前后的行数、实体数或事件数； - 被移除的比例； - 与先前过滤条件的重叠； - 不同比较组的移除情况是否不同； - 结果对该规则的敏感性。 在可行的情况下，同时为纳入总体和排除总体计算诊断指标。不要在不量化的情况下隐藏难以解析、未知或不便处理的案例。 先使用成熟指标，再引入自定义指标。如果标准指标与自定义指标不一致，应先调查定义、日志记录和过滤过程，再接受新指标。 先将新指标应用于历史数据或充分理解的案例，以便检查其预期行为。 不要使用同一系统变更直接反馈或操纵的指标来评价该变更。应使用独立结果指标，或采用能够处理反馈回路的设计。 ## 用另一种方法测量重要结果，并确认可以重复得到 以不止一种合理方式测量重要现象。优先采用在实现、数据源、抽样方法或操作性定义方面不同的交叉核对。 将结果与以下对象比较： - 成熟的参照指标； - 相关总体的历史测量结果； - 独立数据源； - 替代实现； - 对固定输入的重复运行； - 相邻时间范围和合理的子样本。 总体或方法不同时，无需完全一致，但必须解释实质性差异。在调查测量误差和已知混杂因素之前，将意外结果视为尚未验证。 对于模型和派生估计，在现实范围内扰动输入，并检查结论是否稳定。预期结果具有确定性时，验证重复运行能否产生相同结果。 保留复现所需的分析参数、数据版本、过滤数量和代码修订版本。 先执行标准验证，再添加由具体问题驱动的自定义检查。不要把一次计算成功当作结果可以复现的证据。 ## 在断言因果之前，先检验其他解释 把观测到的异常和趋势转化为明确假设。针对每个假设，写出能够支持它的证据，以及能够削弱或证伪它的证据。 寻找涉及以下因素的其他解释： - 选择与分配； - 日志记录或测量机制的变化； - 季节性与外部事件； - 总体构成； - 多重比较； - 反向因果关系； - 隐藏的共同原因； - 系统反馈。 采用与主张相称的比较、自然变异、对照实验或外部证据。检查效应是否出现在所提出机制预测的范围内，并且没有出现在该机制不应适用的范围内。 将观测到的幅度与该机制合理的影响范围和发生时间进行比较。 只有相关性不能确立因果关系。如果缺少理论和证据来说明代理关系为何应当持续，就不要把该关系表述为稳定关系。 明确说明当前设计能够确立什么、不能确立什么，以及因果解释需要哪些假设。 主动寻找反证，尤其是在利益相关者偏好某个特定答案时。如果矛盾证据更强，应修改或放弃原有解释。 ## 请同事审阅，并把结论和局限一起报告 对于探索性工作，应尽早完成一次端到端分析，以便从整个流程中学习。记录粗糙环节、排除项和未解决案例，然后改进对结论有实质影响的阶段。 不要在最终决策逻辑尚未经过检验时，只追求第一个转换步骤的完美。 向决策者展示结论之前，先接受同行审查。请审查者质疑： - 关于采集过程与总体的假设； - 指标与过滤条件的定义； - 不确定性的计算； - 切片选择与构成变化； - 因果表述； - 可复现性； - 实际相关性。 在最终报告中，区分观测事实、解释、评价和建议。包括问题、范围、数据时间窗口、指标定义、效应量、不确定性、排除项、敏感性检查和未解决的局限。 除有利结果外，也要报告无显著差异、相互矛盾和缺乏支持的结果。 使用适合分析问题的工具，不要迫使每个问题都套用熟悉的方法。及时承认未知和错误；缺乏依据的确定性会削弱今后的决策。 最后给出与决策相关的结论、支撑证据、主要注意事项，以及最能减少不确定性的下一项检查。