データの集め方を確かめ、別の理由も疑ってから分析の結論を出す

## 問いを決め、データがどう集められたかを調べる 好みのツールや手法ではなく、具体的な問いまたは仮説から始める。分析がどの意思決定に役立つべきか、その意思決定を変え得る証拠は何かを示す。 指標を計算する前に、次を記録する。 - データが表す母集団、イベント、またはプロセス。 - 観測値をどのように、どこで、いつ収集したか。 - 実験の割り当て、計測方法、適格条件。 - 既知の欠落、記録の遅延、サンプリング、保持期間の制限。 - 測定期間中の異常な出来事。 - 分析単位と、観測値間の依存関係。 可能であれば、製品、プロセス、または実験を直接確認する。直接利用できない場合は、信頼できる挙動の説明と収集仕様を確認する。 フィールド名がもっともらしいという理由だけで、テーブルが意図した現象を表していると仮定しない。 最初の問い、前提、期待される不変条件を記録する。探索中に問いを発展させてもよいが、修正後の問いと最初の問いを区別する。 ## データを確かめてから、結果の説明と良し悪しの判断を分ける 作業が反復的に行き来する場合でも、三つの分析段階を区別する。 1. 検証では、データに内部整合性があり、正しく収集され、意図したプロセスを表しているかを問う。 2. 記述では、価値や便益を割り当てずに、測定結果が何を示すかを述べる。 3. 評価では、記述された変化が、関係する人、システム、または目的にとって望ましいかを判断する。 メモとレポートでは主張に段階を明記し、記述結果に依拠する前に検証の失敗を解消する。 方向、規模、不確実性、母集団は中立的な言葉で記述する。評価基準を指標名へ埋め込まず、明示する。 主要な問いに答える前に、安定しているはずの変数を確認する。 - 母集団の規模と構成。 - 割り当て数または曝露数。 - イベント数とクエリ数。 - ログ記録率とエラー率。 - 欠損と遅延。 - 影響を受けない参照指標。 もっともらしい測定上または母集団上の変化を除外するまで、対象指標の変化を解釈しない。 ## 平均だけでなく、ばらつきと実際の例を見る 平均などの要約統計量だけに頼らない。形状、ばらつき、裾、複数の最頻域、不連続性を明らかにする表現を調べる。 適切なヒストグラム、分位点、累積分布、またはその他の分布表示を選ぶ。 サンプリング構造と依存構造に適した方法で、推定値に不確実性を付ける。大規模データであっても、偶然性、バイアス、測定誤差はなくならない。 誤った量を精密に推定したものと、意図した量を妥当に推定したものを区別する。 新しい分析ロジックでデータを変換または分類する場合は、必ず生の実例を調べる。次からサンプリングする。 - 重要なすべてのクラス。 - 一般的なカテゴリとまれなカテゴリ。 - 数値分布の中央部と両端部。 - 成功、失敗、欠損、不正形式の各ケース。 - 判断しきい値に近いレコード。 外れ値を除外またはまとめる前に調査する。外れ値は、計測の欠陥、集計されていない挙動、無効な前提、または本当に異常なケースを示す場合がある。 外れ値をフィルタリングまたはグループ化する場合は、規則、件数、根拠、結論への影響を記録する。 残る不確実性が意思決定にとって重要でなくなった場合に限り、調査を打ち切る。 ## 結果をグループや期間に分け、同じ傾向が続くか見る 基礎となる挙動が母集団や環境によって異なる可能性がある場合は、集計結果をサブグループへ分ける。目立つ結果を際限なく探すのではなく、ドメイン知識、収集上の境界、もっともらしい失敗要因に基づいて分割軸を選ぶ。 重要な各分割について、次を調べる。 - 指標値と不確実性。 - サンプルサイズと欠損。 - 比較グループに占める相対的な割合。 - データ品質とインタラクションの違い。 - 集計結果との整合性。 グループ間または期間間を比較する場合は、構成比の変化を確認する。サブグループの混合比が変わると、分割内の挙動が安定していても集計結果が反転または歪曲することがある。 処置やシステムへのフィードバックによって変化した変数を条件にしない。条件にする場合は、そこから生じるバイアスを明示的に扱う。 ローンチ、停止、季節性、ログ記録の変更、漸進的なドリフトを検出するため、時間で分割する。異常であるという理由だけで異常期間を除外せず、先に因果的な説明を探す。 複数の期間、母集団、妥当なランダム部分標本で安定性を検証する。 効果量、不確実性、影響を受ける母集団、意思決定コスト、行動する場合としない場合の結果を評価し、統計的有意性と実務的有意性を分ける。 統計的に有意でないことは、意味のある効果がないという証拠ではない。 ## 指標の決め方と、しぼり込みで外した数を記録する 別の分析者が母集団と計算を再現できるよう、すべての指標を定義する。比率では、分子、分母、単位、期間、適格条件を明記する。 あるイベントが発生した後にだけ指標が存在する場合は、その条件付けを明示する。 フィルタリングを見えない前処理ではなく、分析の一部として追跡する。各フィルタリング段階で、次を記録する。 - 規則とその目的。 - 適用前後の行、主体、またはイベント。 - 除外された割合。 - 以前のフィルターとの重複。 - 比較グループ間で除外のされ方が異なるか。 - その規則に対する結果の感度。 可能であれば、対象に含めた母集団と除外した母集団の両方について診断指標を計算する。解析しにくい、不明、または都合の悪いケースを、数量化せずに隠さない。 独自指標を導入する前に、確立された指標から始める。標準指標と独自指標が一致しない場合は、新しい測定値を受け入れる前に、定義、ログ記録、フィルタリングを調査する。 新しい指標は、期待される挙動を確認できる過去データまたは十分に理解されたケースへ先に適用する。 システム変更そのものが直接フィードバックまたは操作する指標を使って、その変更を評価しない。独立した結果指標、またはフィードバックループを考慮した設計を使う。 ## 大事な結果を別の方法で測り、くり返して同じになるか確かめる 重要な現象を、妥当な複数の方法で測定する。実装、データソース、サンプリング方法、または操作的定義が異なる相互確認を優先する。 結果を次と比較する。 - 確立された参照指標。 - 関連する母集団に対する過去の測定値。 - 独立したデータソース。 - 代替実装。 - 固定入力に対する反復実行。 - 近接する期間と妥当な部分標本。 母集団や方法が異なる場合、完全な一致は不要だが、重要な不一致には説明が必要となる。測定誤差と既知の交絡要因を調査するまで、意外な結果を未検証として扱う。 モデルと派生推定値では、現実的な範囲内で入力を変動させ、結論が安定しているかを確認する。決定論的な結果が期待される場合は、反復実行で同じ結果が得られることを検証する。 再現に必要な分析パラメーター、データバージョン、フィルタリング件数、コードのリビジョンを保持する。 まず標準的な検証を実行し、その後で個別の問いに基づく独自チェックを追加する。一度の計算成功を、結果が再現可能である証拠にしない。 ## 原因と言い切る前に、ほかの理由を疑って調べる 観測された異常と傾向を明示的な仮説に変換する。各仮説について、それを支持する証拠と、弱めるか反証する証拠を書き出す。 次に関係する代替説明を探す。 - 選択と割り当て。 - ログ記録または計測方法の変更。 - 季節性と外部イベント。 - 母集団の構成。 - 多重比較。 - 逆因果。 - 隠れた共通原因。 - システムへのフィードバック。 主張に適した比較、自然変動、対照実験、または外部証拠を使う。提案した機序が予測する範囲で効果が現れ、適用されない範囲では現れないかを確認する。 観測された規模を、機序が及び得る範囲と時期に照らして比較する。 相関だけでは因果関係は成立しない。代理関係が持続する理由を示す理論と証拠がなければ、その関係を安定したものとして提示しない。 設計によって何を立証でき、何を立証できないか、因果解釈にどの前提が必要かを明示する。 特に関係者が特定の答えを望んでいる場合は、反証となる証拠を積極的に探す。矛盾する証拠の方が強ければ、説明を修正または放棄する。 ## ほかの人に見てもらい、分かった事と限界を合わせて報告する 探索的な作業では、パイプライン全体から早期に学べるよう、一連の分析を最後まで実行する。粗い部分、除外、未解決のケースを記録し、結論へ実質的に影響する段階を改善する。 最終的な意思決定ロジックを検証しないまま、最初の変換だけを完成させようとしない。 意思決定者へ結論を示す前に、同業者のレビューを受ける。レビュー担当者には、次を検討してもらう。 - 収集と母集団に関する前提。 - 指標とフィルターの定義。 - 不確実性の計算。 - 分割軸の選択と構成比の変化。 - 因果関係を表す言葉。 - 再現性。 - 実務上の関連性。 最終レポートでは、観測事実、解釈、評価、推奨事項を区別する。問い、範囲、データ期間、指標の定義、効果量、不確実性、除外、感度チェック、未解決の制限を含める。 好ましい結果だけでなく、明確な差が出なかった結果、矛盾する結果、根拠不足の結果も報告する。 慣れた方法へすべての問いを押し込まず、分析課題に適したツールを使う。不明点や誤りを速やかに認める。裏付けのない確信は、将来の意思決定を弱める。 意思決定に関わる結論、その根拠となる証拠、主な注意点、不確実性を最も減らせる次の確認を最後に示す。