サービスの変更が効くかを、利用者を分けて比べるテスト（A/Bテスト）で確かめる

## 知りたい事が、比べるテストで分かるかを先に決める まず、証拠によって何を判断する必要があるかを定める。 変更を割り当てられ、アウトカムを測定でき、曝露を安全に管理できる場合、オンライン対照実験が有用である。 次を確認する。 - テスト中、介入が十分に安定している - 適格な単位を、許容できない干渉なしに割り当てられる - 観測可能な期間内にアウトカムが生じ得る - 期待される学びが、必要なトラフィック、時間、リスクに見合う - 起こり得る各結果に対して、組織が行動できる 問題が定義されていないことや計測基盤が信頼できないことを補うために、実験を使ってはならない。 問いが、行動が起きる理由、まれな損害、長期的な効果、または割り当てられない変更に関するものなら、定性調査、業務分析、シミュレーション、観察研究を使う。 ## 結果ごとに次の動きまで決めた、テストの予想を書く 実装前に、提案する変更、影響を受ける母集団、予想する行動メカニズム、主要アウトカム、効果の方向、判断への影響を明記する。 表面的な変更を無作為に試すのではなく、過去の証拠を仮説の根拠にする。 有用な仮説では次を特定する。 - 現在の問題と、それを裏づける観察 - 介入と、変更せず維持するもの - 予想する反応と、そのメカニズム - 主要指標と分析期間 - 行動を起こす価値がある最小の効果 - 良い結果、中立的な結果、有害な結果に対する行動 探索と検証を区別する。 どの結果なら判断が変わるかをチームが示せない場合は、実験トラフィックを使う前に問いを練り直す。 ## 誰をテストの対象にして、どうグループに分けるかを決める 実験単位、組み入れ対象となる母集団、割り当てが行われる時点を明記する。 単位には、人、アカウント、端末、セッション、場所、その他の主体を使えるが、介入とアウトカムの影響がどう伝播するかに合うものを選ばなければならない。 次を文書化する。 - 組み入れ基準と除外基準 - 配分比率 - 無作為化またはマッチングの手順 - 訪問をまたいで割り当てを維持する方法 - 新規単位と再訪単位の扱い - 単位間で判明している相互作用 反復曝露を設計上明示的にモデル化していない限り、一つの単位が両立しない複数のバリアントを受け取らないようにする。 グループの構成員が互いに影響する場合は、グループ単位で割り当てるか、設計と分析で干渉を考慮する。 ## 比べる案は、確かめたい点だけを変えて作る 仮説に必要なものだけを変更し、関係のない挙動は同じ状態に保つ。 比較では、追跡不能な複数の変更をひとまとめにするのではなく、意味のある介入を切り分ける。 各バリアントについて次を記録する。 - 利用者に見える違いとシステム上の違い - 実装責任者とバージョン - 想定する曝露条件 - アクセシビリティ、プライバシー、業務運用上のリスク - 配信に失敗した場合の代替動作 - 意図したバリアントが配信されたことを証明する確認項目 複数の変更を同時に行えば、その組み合わせ全体の効果は推定できるが、どの要素が原因かは特定できない。 標本数、分析計画、意思決定上の必要性が追加の複雑さに見合う場合に限り、要因計画または多変量設計を使う。 ## 一番見る数字と、悪い影響を見張る数字を先に決める 仮説上の行動を表し、実験単位の水準で解釈できる主要意思決定指標を一つ選ぶ。 その分子、分母、単位、アトリビューション期間、除外条件、反復イベントの扱いを定義する。 主要指標だけでは見えない影響を捉えるため、次のガードレール指標を追加する。 - 継続率または反復利用 - タスク完了とエラー - 遅延と信頼性 - 返金、苦情、サポート需要 - 売上、費用、利益率 - プライバシー、公平性、安全性の指標 データを見た後で成功の定義を変えてはならない。 診断用指標は副次指標と明示し、説明、監視、将来の仮説生成のどれを支えるものかを示す。 ## 必要な人数と、テストを止める決まりを先に決める ベースライン率または分散、最小検出可能効果、統計的誤りの基準、配分、予定する分析方法から、必要な標本数を見積もる。 最小効果は、たまたま都合のよい標本数からではなく、実務上の価値と実装費用から決める。 開始前に次を記録する。 - 想定される適格トラフィック - バリアント別の目標標本数 - 既知の周期を網羅するために必要な最短実行期間 - 最長実行期間または失効条件 - 固定終了点方式または逐次分析法 - 損害または技術的障害を理由とする停止規則 統計的有意性は、十分な曝露量や代表性のある実施時期の代わりにはならない。 通常の固定終了点テストを繰り返し確認し、最初に都合のよいしきい値を超えた時点で停止してはならない。 ## テスト前に、グループの分け方とデータの記録が正しいか確かめる アウトカムを解釈する前に、割り当て、曝露、イベント収集、指標計算を検証する。 テスト用アカウントまたは合成イベントでパイプライン全体を動かし、記録データを期待する挙動と比較する。 次を確認する。 - 配分が設定した比率と一致する - 識別子が安定し、バリアントが別条件へ漏れない - 帰属対象となるアウトカムより先に曝露が記録される - イベントが重複せず、気づかれないまま欠落することもない - 時計、タイムゾーン、集計期間がそろっている - 指標クエリが既知の例を再現する 同一バリアント比較（A/Aテスト）は、割り当て、計測、分析の不具合を明らかにできるが、将来のすべての介入が妥当だと証明するものではない。 結果を見る前に、診断で許容する誤差範囲を定める。 ## 少ない人数から始めて、悪い影響が出ていないか見張る 介入が売上、信頼性、信用、参加者の福祉に影響し得る場合は、限定された曝露から始める。 配信とガードレールの確認結果が事前定義した限界内に収まっている場合に限り、配分割合を増やす。 次のような業務上の兆候を監視する。 - 割り当て数と曝露数 - エラー率と遅延 - 欠落または形式不正のイベント - ガードレール指標の重大な変動 - サポート報告またはインシデント報告 - 実験前の重要属性における不均衡 緊急監視とアウトカム分析を分ける。 確認済みの損害や配信障害を理由とする停止は、参加者とデータ品質を守る。一方、初期推定値が好ましくないという理由で停止すると、統計上の契約が変わる。 ## テストの途中で、中身や条件を変えない 安全性または正確性のために介入が必要な場合を除き、予定したテスト中はバリアントのロジック、適格条件、指標、分析コードを安定させる。 曝露または測定を変え得るすべての運用イベントを記録する。 次を避ける。 - モデル化していない相互作用がある重複実験 - 一つのバリアントだけに影響するキャンペーンまたはリリース - 選択した単位の手動による再割り当て - 割り当て後の行動に基づく観測値の除外 - 望む結果を得るためのテスト期間の延長または短縮 重大な変更が起きた場合は、再開始するか、分析計画を修正するか、結果の信頼性が損なわれたと報告するかを判断する。 両立しない定義の下で収集したデータを、説明なしにまとめてはならない。 ## 効果の大きさを、どれくらい確かかと一緒に出す 事前定義した設計で別の推定対象（estimand）を求める場合を除き、各単位を割り当てられた条件に従って分析する。 しきい値の判定だけでなく、効果量と不確実性を報告する。 分析には次を含める。 - バリアント別の標本数と曝露数 - データ品質と均衡の確認 - 主要指標とガードレール指標の推定値 - 意味がある場合の絶対効果と相対効果 - 信頼区間または信用区間 - 欠測データ分析と感度分析 - 予定した方法からの逸脱 統計的有意性と実務上の重要性を区別する。 精密でもごく小さな効果は実装に値しない場合がある。一方、不確実な推定値は、効果がないと主張するのではなく、追加の証拠を集める根拠になり得る。 ## 利用者を細かく分けた結果が、偶然でないか気をつける サブグループと副次指標の結果は、特に結果を見た後で選ばれた場合、慎重に扱う。 比較を一つ追加するたびに、偶然によって注目すべき結果に見えるものが生じる可能性が高まる。 セグメント効果を主張する前に次を行う。 - 介入後の行動とは独立してセグメントを定義する - 十分な標本数と重なりを確認する - 別々の有意性判定を比較するのではなく、交互作用を検定する - 予定した多重性調整を適用する - 重大な意思決定につながる結果なら、再現を試みる 探索的な切り分けは仮説生成に使い、元のテストを書き換えるために使ってはならない。 読者が選択リスクを評価できるよう、検討した重要な比較をすべて報告する。 ## 結果から、変更を出すかどうかを決めて記録に残す 実験の推定値に、実装費用、定性的証拠、業務上の制約、倫理上の考慮、効果が続くと予想される期間を組み合わせる。 本番導入、棄却、修正、再実験、追加調査のどれを選ぶかを明示する。 最終記録には次を残す。 - 元の仮説と意思決定規則 - 母集団、バリアント、日付、標本 - 指標の定義と分析方法 - 効果の推定値と不確実性 - ガードレール指標の結果とインシデント - 限界、除外、逸脱 - 判断、責任者、追跡指標 一つの実験だけで、行動が変わった理由を説明できた、または別の母集団や状況でも効果が続くと証明できたと主張してはならない。 再現可能な分析を保管し、実装した変更を監視することで、その後の証拠から判断を確認、限定、または反転できるようにする。