숫자 하나를 조금씩 개선하고 도움이 된 변경만 남기기

## 목표를 숫자 하나로 정하고 바꿔도 되는 범위 정하기 하나의 결과를 방향, 단위, 목표값이 있는 수치 지표로 표현한다. 변경할 수 있는 자산, 기록, 설정 또는 프로세스 단계를 정확히 정의하고, 그 경계 밖의 모든 항목은 읽기 전용으로 명시한다. - 목표를 “더 좋게 만든다”가 아니라 “지표 M을 기준값 B에서 목표값 T 방향으로 이동시킨다”라고 표현한다. - 반복 결과를 비교할 수 있도록 대상 집단, 시간 범위, 환경, 측정 방법을 명시한다. - 최대 반복 횟수, 경과 시간, 비용, 허용 가능한 위험을 포함한 변경 예산을 설정한다. - 지표를 왜곡할 수 있는 종속 요소를 식별하고 가능하면 일정하게 유지한다. - 지표, 범위, 권한 또는 되돌리기 경로가 없으면 상태를 변경하기 전에 일시 중지하고 명확한 설명을 구한다. 목표와 경계를 실험 계약으로 취급한다. 인접한 개선이 유용해 보인다는 이유만으로 범위를 넓히지 않는다. ## 처음 값을 재고 나빠지면 안 되는 숫자 정해 두기 첫 번째 실험 전에 변경되지 않은 시스템을 측정한다. 잡음이 있을 가능성이 있다면 검증을 최소 세 번 실행한 뒤 중앙값, 범위, 표본 크기, 관련 조건을 기록한다. 반복 측정이 불가능하다면 이유를 밝히고 재현 가능한 가장 신뢰도 높은 기준값을 사용한다. 변경하기 전에 판단 규칙을 정의한다. - 주요 지표: 최적화할 수치와 값이 높을수록 좋은지 낮을수록 좋은지 여부. - 최소 유의미 향상: 잡음이 아니라 개선으로 인정할 수 있는 최소 변화량. - 보호 지표: 안전, 품질, 신뢰성, 지연 시간, 비용 또는 오류의 한계값을 넘어서는 안 되는 수치. - 수락 규칙: 모든 보호 기준을 통과하면서 기준값보다 요구된 변화량만큼 나아진 변경만 유지한다. - 무효 실행 규칙: 데이터 누락, 입력 변경, 검증기 오류 또는 비교할 수 없는 조건의 영향을 받은 결과를 폐기한다. 결과를 본 뒤 한계값을 새롭게 해석해서는 안 된다. 잡음이 많거나 검증할 수 없는 결과는 성공이 아니다. ## 한 번에 하나만 바꾸고 같은 방법으로 재기 승인된 경계 안에서 반복 절차를 자율적으로 실행한다. 현재 최선의 상태를 점검하고, 검증 가능한 가설 하나를 세우고, 원자적 변경 하나를 적용하고, 고정된 검증기를 실행한 뒤 결과를 현재 최선의 상태와 비교한다. 요소들이 따로 작동할 수 없고 그 종속 관계가 문서화된 경우를 제외하면, 한 번에 독립 요소 하나만 변경한다. 각 반복에서 다음을 수행한다. 1. 지표의 변화 방향을 예측하고 그 변화를 일으킬 것으로 예상되는 작동 원리를 명시한다. 2. 가설을 검증할 수 있는 최소 변경을 적용한다. 3. 기준값에 사용한 것과 동일한 주요 지표 및 보호 지표 측정을 실행한다. 4. 관측된 변화량이 잡음 범위에 가까우면 측정을 반복한다. 5. 결과를 유지, 폐기, 무효 또는 차단으로 분류한다. 검증되지 않은 변경 위에 다른 변경을 쌓지 않는다. 다음 반복은 항상 검증된 최선의 상태에서 시작해야 한다. ## 확실히 나아진 변경만 남기고 나머지는 되돌리기 사전에 선언한 수락 규칙을 충족할 때만 변경을 유지한다. 정확한 변화량, 보호 기준 결과, 설명을 기록한 뒤 그 검증된 상태를 새로운 기준값으로 삼는다. 결과가 같다면 더 단순하고, 더 저렴하거나, 더 쉽게 되돌릴 수 있는 선택지를 우선한다. 주요 지표가 충분히 개선되지 않거나, 보호 기준 중 하나라도 실패하거나, 검증이 무효이거나, 변경으로 설명되지 않은 부작용이 생기면 즉시 폐기하고 되돌린다. 계속하기 전에 마지막으로 검증된 점검 지점을 복원하고 검증기를 다시 실행하여 되돌리기가 성공했는지 확인한다. 실패했거나 불확실한 상태 위에서 새 실험을 시작해서는 안 된다. 반복 번호, 가설, 변경 요약, 측정값, 변화량, 결정, 되돌리기 상태를 포함한 간결한 실험 기록부를 유지한다. 증거가 결정을 좌우하며, 확신, 투입한 노력, 그럴듯한 설명이 수치를 앞설 수 없다. ## 미리 정한 조건에서 멈추고 가장 좋은 결과 보고하기 사전에 선언한 첫 번째 중단 조건이 발생할 때까지 일상적인 승인을 구하지 않고 반복 절차를 계속한다. 목표값에 도달하거나, 반복 횟수·시간·비용 예산이 소진되거나, 필수 보호 기준이 반복해서 실패하거나, 되돌리기를 확인할 수 없거나, 검증기를 신뢰할 수 없게 되거나, 권한이 부족하거나, 설정된 연속 시도 동안 유의미한 개선이 나타나지 않으면 중단한다. 완료할 때는 시스템을 검증된 최선의 상태로 남기고 다음 내용을 포함한 간결한 보고서를 제공한다. - 목표, 범위, 기준값, 최선의 지표, 절대 및 상대 변화량, 보호 기준 상태 - 수락한 변경과 각 변경을 뒷받침하는 증거 - 폐기하거나 무효로 처리한 실험과 되돌리기 확인 결과 - 정확한 중단 조건, 남은 불확실성, 새로운 권한이 필요한 후속 조치 반복 절차가 끝났다는 이유만으로 작업이 성공했다고 판단하지 않는다. 성공은 측정된 목표값 또는 수락 한계값을 모든 보호 기준이 온전한 상태로 충족한 것을 뜻한다. 그렇지 않다면 검증된 최선의 결과와 중단 이유를 보고한다.