決めたい事から始めて、データ分析を実際に使うところまで進める

## 分析を段階ごとに進め、前提が崩れたら前に戻る プロジェクトを固定的な順序ではなく、つながったライフサイクルとして構成します。意思決定の理解、データ理解、データ準備、モデル化、評価、導入を進めつつ、証拠によって前提が無効になった時や新しい要件が明らかになった時は、前の段階へ戻ります。 各段階で期待する成果とレビューポイントを定めます。入力、判断、発見、未解決の疑問、前進または後戻りする理由を記録します。問題によって重視する段階は変わっても、重要度が低く見えるという理由だけで後続段階の論点を無視してはいけません。 プロジェクト全体を通して意思決定上の問題を見失わないようにします。分析活動は、意思決定、プロセス、製品、または測定可能な成果を改善する場合にだけ有用です。 ## 良くしたい判断を、分析の問いと計画に直す 意思決定の背景、望む成果、現在のプロセス、関係者、この作業に期待する価値を記述することから始めます。意思決定と分析の両方の観点から測定可能な成功基準を定め、技術性能が現実の価値へ密かに置き換わらないよう、両者を分けて扱います。 利用可能な人材、データ、ツール、時間、予算、専門知識を棚卸しします。要件、前提、法的または運用上の制約、用語、リスク、代替策、費用、期待便益を文書化します。 意思決定の目的を分析上の問い、目標成果物、受け入れ基準へ変換します。段階、依存関係、資源、節目、レビューポイント、候補手法を含むプロジェクト計画を作成します。後から得た証拠によって当初の理解が変わった時は、計画を改訂します。 ## データを調べ、問いに答えられる質かを確かめる 初期の代表的なデータ一式を収集し、その出所、所有者、取得条件、対象期間、既知の制約を文書化します。結論を出す前に、レコード数、項目、型、範囲、分布、関係、重要なメタデータを記述します。 データを探索して初期仮説を検証し、予想外のパターンを明らかにし、有望な項目と無関係な項目を特定します。観察と解釈を区別し、各結論を、それを支えるデータと手法まで追跡できるようにします。 完全性、妥当性、一貫性、一意性、適時性、目的の意思決定への適合性を確認します。欠損値、誤り、ノイズ、偏りのリスク、収集上の不足をデータ品質報告に記録します。データが目的を支えられない場合は、無理にモデルを作らず、目的、収集計画、またはプロジェクト範囲へ戻ります。 ## データを整えてつなぎ、変えた事を全部記録する 関連性、品質、技術的制約、予定する評価設計に従ってレコードと項目を選びます。後のレビュー担当者が分析対象集団を再現できるよう、データを含める理由と対象外にする理由を明示します。 明示的な規則に従って誤りと欠損値を整えます。意味と計算方法が文書化されている場合に限り、派生属性を作成します。確認済みのキーと粒度でデータ源を統合し、意図する意味を変えずに、選択した手法に合う形式へ整えます。 データ源の版、選択規則、整備内容、派生項目、結合、形式変更、結果の品質を含む変換記録を維持します。準備中に異常が見つかった時や重要項目の解釈が変わった時は、データ理解へ戻ります。 ## モデルを選び、作る前に公平な試し方を決める 分析目的、データの特性、前提、解釈可能性の要件、運用上の制約、成功基準に従って手法を選びます。各候補手法が適する理由と、どの条件で無効になるかを文書化します。 モデルを適合させる前に評価を設計します。訓練用とテスト用の分割、比較基準、指標、抽出規則、評価用データがモデル構築へ影響することを防ぐ手順を定めます。候補手法を比較する時は、同じ設計を使います。 不確実性から比較が必要な場合は、根拠のある複数の候補を構築します。すべての実行について、データの版、特徴量、パラメータ、前提、実行条件、結果を記録します。順位が最上位という理由だけで結果を選ばず、事前に定めた技術基準に照らしてモデル品質を評価し、失敗を調査します。 ## 点数だけでなく、判断の役に立つかで結果を見る 分析結果を、技術基準と当初の意思決定上の成功基準の両方に照らして確認します。発見が十分に正確で、明示された問題に関連し、関係者が理解でき、運用上の制約内で実現可能であることを確認します。 見落とした要件、弱い前提、データ上の制約、行き止まり、予想外の結果、別の選択肢がないか、プロセス全体を監査します。証拠が不十分なら前の段階へ戻ります。反復は想定されたものであり、隠さず文書化します。 次の行動を明示的に選びます。導入へ進む、現在の手法を改善する、置き換える、より良いデータを収集する、または停止する、のいずれかです。判断を支える証拠を記録します。技術的に優れた結果でも、意思決定の目的を満たさない場合は先へ進めてはいけません。 ## 結果を現場で使い始め、精度が落ちないか見張る 導入とは、モデルを運用システムへ統合することだけでなく、発見を伝えて人々が意思決定やプロセスを変えられるようにすることも含みます。各結果について、対象者、責任者、提供方法、依存関係、実装手順、技術要件、代替計画を特定します。 提供開始前に監視方法を定めます。追跡する要因、妥当性と正確性の測定方法、報告頻度、警告のしきい値、ドリフト、期限切れ、有用性の喪失を示す条件を指定します。各条件に対して、再調整、再構築、置き換え、新規プロジェクトのどれが必要かを事前に決めます。 システム運用者、データ保守担当者、意思決定者、結果の影響を受ける人々と連携します。実用的な範囲で定型監視を自動化しますが、文脈や許容可能なトレードオフに依存する判断には人間によるレビューを残します。 ## 最後の記録を書き、学びを次の分析に残す 当初の問題、成功基準、手法、費用、計画からの逸脱、データ上の制約、結果、導入方法、監視計画、推奨する後続作業を含む最終記録を作成します。根拠となる証拠を変えずに、対象者ごとに説明の詳しさを調整します。 各段階について、もたらした価値、回避できた作業、失敗、行き止まり、予想外の出来事、より良い代替案を振り返ります。可能であれば、プロジェクト参加者と導入結果の影響を受けた人々から意見を集めます。 将来のプロジェクトが見つけて理解できる形で、判断、報告、再利用可能な変換、評価設計、教訓を保存します。モデル品質だけでなく、意図した便益を実現したか、組織が次の分析を行う能力を高めたかによってもプロジェクトを評価します。