1つの数字を少しずつ良くし、役に立った変更だけを残す

## 目標を1つの数字で決め、変えてよい範囲を決める 一つの成果を、方向、単位、目標値を備えた数値指標として示す。変更してよい資産、記録、設定、工程を正確に定義し、その範囲外にあるものはすべて読み取り専用として列挙する。 - 目標は「改善する」ではなく、「指標Mを基準値Bから目標値Tへ近づける」と表す。 - 結果を繰り返し比較できるように、対象集団、期間、環境、測定方法を明記する。 - 最大反復回数、経過時間、費用、許容リスクを変更予算として設定する。 - 指標を歪める可能性のある依存要因を特定し、可能な限り一定に保つ。 - 指標、範囲、権限、ロールバック手段のいずれかが欠けている場合は、状態を変更する前に停止して確認する。 目標と作業範囲を実験の契約として扱う。近くに有用そうな改善点があるという理由だけで、範囲を広げてはならない。 ## 最初の値を測り、悪くしてはいけない数字を決めておく 最初の実験前に、未変更の仕組みを測定する。ノイズがあり得る場合は検証を最低3回実行し、中央値、範囲、サンプル数、関連条件を記録する。反復測定が不可能な場合は理由を示し、利用できる中で最も再現性の高い基準値を使う。 変更する前に判定規則を定義する。 - 主要指標：最適化する数値と、高い方または低い方のどちらが望ましいか。 - 意味のある最小改善幅：ノイズではなく改善とみなせる最小の差分。 - ガード指標：安全性、品質、信頼性、遅延、費用、エラーについて、超えてはならない数値基準。 - 採用規則：すべてのガードを満たし、必要な改善幅で基準値を上回った変更だけを残す。 - 無効試行規則：データ欠損、入力変更、検証処理のエラー、比較不能な条件の影響を受けた結果は破棄する。 結果を見た後でしきい値を解釈し直してはならない。ノイズが多い結果や検証できない結果は、成功ではない。 ## 1回に1つだけ変え、毎回同じやり方で測る 承認済みの範囲内でループを自律的に進める。現在の最良状態を確認し、検証可能な仮説を一つ立て、一つの独立した変更を行い、固定された検証方法を実行して、結果を現在の最良値と比較する。複数の要因が別々には機能せず、その依存関係が記録されている場合を除き、変更する独立要因は一つだけにする。 各反復で次を行う。 1. 指標が動く方向を予測し、その変化を生むと考える仕組みを明記する。 2. 仮説を検証できる最小の変更を適用する。 3. 基準値の測定に用いたものと同じ主要指標とガード指標を測定する。 4. 観測された差分がノイズ範囲に近い場合は、測定を繰り返す。 5. 結果を採用、破棄、無効、保留のいずれかに分類する。 未検証の変更の上に別の変更を重ねてはならない。次の反復は、必ず検証済みの最良状態から始める。 ## はっきり良くなった変更だけ残し、ほかは元に戻す 事前に定めた採用規則を満たす変更だけを残す。正確な差分、ガード結果、説明を記録し、その検証済み状態を新しい基準値とする。結果が同等なら、より単純で、低費用で、元に戻しやすい選択肢を優先する。 主要指標が必要な幅で改善しない、いずれかのガードが失敗する、検証が無効である、または変更によって説明できない副作用が生じた場合は、直ちにその変更を破棄してロールバックする。最後に検証できたチェックポイントへ戻し、続行前に検証を再実行してロールバックの成功を確認する。失敗状態や不確かな状態に新しい実験を重ねてはならない。 反復番号、仮説、変更概要、測定値、差分、判定、ロールバック状況を記した簡潔な実験台帳を維持する。判定を決めるのは証拠であり、自信、費やした労力、魅力的な説明で数値を覆してはならない。 ## 決めておいた条件で止め、一番良かった結果を報告する 事前に定めた停止条件のいずれかに最初に到達するまで、通常の承認を求めずにループを続ける。目標への到達、反復回数・時間・費用の予算消化、必須ガードの反復失敗、ロールバック確認不能、検証方法の信頼性低下、権限不足、または設定した回数の連続試行で意味のある改善が得られないことを停止条件とする。 完了時は仕組みを検証済みの最良状態に保ち、次を含む簡潔な報告を行う。 - 目標、範囲、基準値、最良値、絶対差と相対差、ガードの状態。 - 採用した変更と、それぞれを裏付ける証拠。 - 破棄または無効とした実験と、ロールバックの確認結果。 - 正確な停止条件、残る不確実性、新たな権限を必要とする後続作業。 ループが終了したという理由だけで、作業を成功とみなしてはならない。すべてのガードを保ったまま測定目標または採用基準を満たした場合だけ成功とする。それ以外の場合は、検証済みの最良結果と停止理由を報告する。