데이터 수집 방식을 확인하고 다른 설명을 배제한 뒤 분석 결론 내리기

## 질문에서 출발해 데이터가 어떻게 수집됐는지 알아보기 선호하는 도구나 기법이 아니라 구체적인 질문이나 가설에서 시작한다. 분석이 어떤 의사결정에 정보를 제공해야 하는지, 어떤 근거가 그 결정을 바꿀 수 있는지 밝힌다. 지표를 계산하기 전에 다음을 문서화한다. - 데이터가 나타내는 모집단, 사건 또는 과정 - 관측값을 어떤 방식으로, 어디에서, 언제 수집했는지 - 실험 배정, 계측 방식 및 적격성 규칙 - 알려진 공백, 지연된 기록, 표본 추출 및 보존 한계 - 측정 기간에 발생한 이례적인 사건 - 분석 단위와 관측값 사이의 모든 의존 관계 가능하면 제품, 과정 또는 실험을 직접 살펴본다. 직접 이용할 수 없다면 신뢰할 수 있는 동작 설명과 수집 명세를 검토한다. 필드 이름이 그럴듯하다는 이유만으로 표가 의도한 현상을 나타낸다고 가정하지 않는다. 최초 질문, 가정 및 예상 불변 조건을 기록한다. 탐색 중 질문을 발전시킬 수 있지만, 수정된 질문과 최초 질문을 구분한다. ## 데이터를 먼저 확인하고, 결과 서술과 좋고 나쁨 판단을 나누기 작업이 반복적으로 오가더라도 세 분석 단계를 구분한다. 1. 검증은 데이터가 내부적으로 일관되고 올바르게 수집되었으며 의도한 과정을 나타내는지 묻는다. 2. 서술은 가치나 편익을 부여하지 않고 측정 결과가 무엇을 보여 주는지 진술한다. 3. 평가는 서술된 변화가 관련된 사람, 시스템 또는 목적에 바람직한지 판단한다. 메모와 보고서에서 각 주장이 어느 단계에 속하는지 표시하고, 서술 결과에 의존하기 전에 검증 실패를 해결한다. 방향, 크기, 불확실성 및 모집단을 중립적인 언어로 서술한다. 평가 기준을 지표 이름에 넣지 말고 명시한다. 주요 질문에 답하기 전에 안정적으로 유지되어야 하는 변수를 확인한다. - 모집단의 크기와 구성 - 배정 수 또는 노출 수 - 사건량과 질의량 - 로그 기록률과 오류율 - 결측과 지연시간 - 영향을 받지 않는 기준 지표 타당할 수 있는 측정 변화나 모집단 변화를 배제하기 전에는 목표 지표의 변화를 해석하지 않는다. ## 평균만 보지 말고 분포와 실제 사례 보기 평균이나 다른 요약 통계량에만 의존하지 않는다. 형태, 산포, 꼬리, 다봉성 및 불연속성을 드러내는 표현을 조사한다. 적절한 히스토그램, 분위수, 누적분포 또는 그 밖의 분포 보기를 선택한다. 표본 추출 구조와 의존 구조에 적합한 방법으로 추정값에 불확실성을 함께 제시한다. 대규모 데이터셋도 무작위성, 편향 또는 측정 오차를 없애지는 않는다. 잘못된 양을 정밀하게 추정한 결과와 의도한 양을 타당하게 추정한 결과를 구분한다. 새로운 분석 논리가 데이터를 변환하거나 분류할 때마다 원시 사례를 조사한다. 다음에서 표본을 추출한다. - 모든 중요한 클래스 - 흔한 범주와 드문 범주 - 수치 분포의 중앙부와 극단부 - 성공, 실패, 결측 및 잘못된 형식의 사례 - 의사결정 임곗값에 가까운 기록 이상치를 제외하거나 합치기 전에 조사한다. 이상치는 계측 결함, 집계되지 않은 동작, 잘못된 가정 또는 실제로 이례적인 사례를 드러낼 수 있다. 이상치를 필터링하거나 그룹화한다면 규칙, 개수, 근거 및 결론에 미치는 영향을 기록한다. 남은 불확실성이 의사결정에 중요하지 않을 때만 조사를 제한한다. ## 결과를 집단과 기간별로 나눠 같은 흐름이 유지되는지 보기 기저 동작이 모집단이나 환경에 따라 다를 수 있다면 집계 결과를 하위 집단으로 나눈다. 눈에 띄는 결과를 끝없이 찾지 말고, 도메인 지식, 수집 경계 및 타당한 실패 양상에 따라 세분화 기준을 선택한다. 중요한 각 부분집단에서 다음을 조사한다. - 지표 값과 불확실성 - 표본 크기와 결측 - 비교 집단의 상대적 비율 - 데이터 품질과 상호작용의 차이 - 집계 결과와의 일관성 집단이나 기간을 비교할 때 구성비 변화를 확인한다. 하위 집단의 혼합 비율이 달라지면 각 부분집단 내 동작이 안정적이어도 집계 결론이 뒤집히거나 왜곡될 수 있다. 처치 또는 시스템 피드백으로 바뀐 변수를 조건으로 사용하지 않는다. 단, 그로 인한 편향을 명시적으로 다루는 경우는 예외다. 출시, 장애, 계절성, 로그 기록 변경 및 점진적 변화를 감지하도록 시간 단위로 세분화한다. 어떤 기간이 이례적이라는 이유만으로 버리지 말고 먼저 인과적 설명을 찾는다. 여러 시간 구간, 모집단 및 합리적인 무작위 부분표본에서 안정성을 검증한다. 효과 크기, 불확실성, 영향을 받는 모집단, 의사결정 비용 및 행동하거나 행동하지 않을 때의 결과를 평가하여 통계적 유의성과 실질적 유의성을 구분한다. 통계적으로 유의하지 않다는 사실은 의미 있는 효과가 없다는 근거가 아니다. ## 지표 정의와 필터마다 빠진 데이터 양 기록하기 다른 분석가가 적용 모집단과 계산을 재현할 수 있도록 모든 지표를 정의한다. 비율에는 분자, 분모, 단위, 시간 구간 및 적격성 기준을 명시한다. 어떤 사건이 발생한 후에만 지표가 정의된다면 그 조건부 정의를 명시한다. 필터링을 보이지 않는 전처리가 아니라 분석의 일부로 추적한다. 각 필터링 단계에서 다음을 기록한다. - 규칙과 목적 - 적용 전후의 행, 개체 또는 사건 수 - 제거된 비율 - 이전 필터와의 중복 - 비교 집단에 따라 제거 방식이 다른지 - 규칙에 대한 결과의 민감도 가능하면 포함된 모집단과 제외된 모집단 모두에 대해 진단 지표를 계산한다. 구문 분석하기 어렵거나 알 수 없거나 불편한 사례를 수량화하지 않은 채 숨기지 않는다. 맞춤 지표를 도입하기 전에 검증된 지표부터 확인한다. 표준 지표와 맞춤 지표가 일치하지 않으면 새로운 측정값을 받아들이기 전에 정의, 로그 기록 및 필터링을 조사한다. 새 지표를 먼저 과거 데이터나 충분히 이해된 사례에 적용하여 예상한 동작을 확인한다. 시스템 변경 자체가 직접 피드백하거나 조작하는 지표로 그 변경을 평가하지 않는다. 독립적인 결과 지표나 피드백 순환을 고려한 설계를 사용한다. ## 중요한 결과를 다른 방법으로 재고 반복해도 같은지 확인하기 중요한 현상을 둘 이상의 정당한 방법으로 측정한다. 구현, 데이터 원천, 표본 추출 방법 또는 조작적 정의가 서로 다른 교차 검증을 우선한다. 결과를 다음과 비교한다. - 검증된 기준 지표 - 관련 모집단에 대한 과거 측정값 - 독립적인 데이터 원천 - 대체 구현 - 고정 입력에 대한 반복 실행 - 인접한 기간과 합리적인 부분표본 모집단이나 방법이 다르면 정확히 일치할 필요는 없지만, 중대한 불일치에는 설명이 필요하다. 측정 오차와 알려진 교란 요인을 조사하기 전까지 놀라운 결과를 미검증 상태로 취급한다. 모델과 파생 추정값에서는 현실적인 범위 안에서 입력을 변화시키고 결론이 안정적인지 확인한다. 결정론적 결과가 예상되면 반복 실행에서 동일한 결과가 나오는지 검증한다. 재현에 필요한 분석 매개변수, 데이터 버전, 필터링 개수 및 코드 개정판을 보존한다. 먼저 표준 검증을 실행한 다음 구체적인 질문에 따른 맞춤 검사를 추가한다. 한 번의 성공한 계산을 결과가 재현 가능하다는 근거로 사용하지 않는다. ## 원인이라고 단정하기 전에 다른 설명 검토하기 관측된 이상과 추세를 명시적인 가설로 바꾼다. 각 가설을 뒷받침할 근거와 약화하거나 반증할 근거를 적는다. 다음과 관련된 대안적 설명을 찾는다. - 선택과 배정 - 로그 기록 또는 계측의 변화 - 계절성과 외부 사건 - 모집단 구성 - 다중 비교 - 역인과 - 숨은 공통 원인 - 시스템 피드백 주장에 적합한 비교, 자연적 변동, 통제 실험 또는 외부 근거를 사용한다. 제안한 메커니즘이 예측하는 곳에서 효과가 나타나고 적용되지 않아야 할 곳에서는 나타나지 않는지 확인한다. 관측된 크기를 메커니즘이 영향을 미칠 수 있는 타당한 범위 및 시점과 비교한다. 상관관계만으로 인과관계가 성립하지 않는다. 대리 관계가 지속되어야 하는 이유를 설명하는 이론과 근거가 없다면 그 관계를 안정적이라고 제시하지 않는다. 설계로 무엇을 확립할 수 있고 무엇을 확립할 수 없는지, 인과적 해석에 어떤 가정이 필요한지 명확히 밝힌다. 특히 이해관계자가 특정 답변을 선호할 때 반증 근거를 적극적으로 찾는다. 모순되는 근거가 더 강하면 설명을 수정하거나 폐기한다. ## 동료 검토를 받고 결론과 한계를 함께 보고하기 탐색 작업에서는 전체 흐름에서 일찍 배울 수 있도록 처음부터 끝까지 분석을 조기에 완료한다. 미흡한 부분, 제외 사항 및 해결되지 않은 사례를 기록한 뒤 결론에 실질적으로 영향을 미치는 단계를 개선한다. 최종 의사결정 논리를 검증하지 않은 채 첫 번째 변환만 완벽하게 만들지 않는다. 의사결정권자에게 결론을 제시하기 전에 동료 검토를 받는다. 검토자에게 다음을 비판적으로 살피도록 요청한다. - 수집과 모집단에 관한 가정 - 지표와 필터의 정의 - 불확실성 계산 - 부분집단 선택과 구성 변화 - 인과적 표현 - 재현성 - 실질적 관련성 최종 보고서에서 관측 사실, 해석, 평가 및 권고를 구분한다. 질문, 범위, 데이터 기간, 지표 정의, 효과 크기, 불확실성, 제외 사항, 민감도 검사 및 해결되지 않은 한계를 포함한다. 유리한 결과뿐 아니라 유의한 차이가 없는 결과, 모순되는 결과 및 근거가 부족한 결과도 보고한다. 익숙한 방법에 모든 질문을 억지로 맞추지 말고 분석 문제에 적합한 도구를 사용한다. 모르는 점과 실수를 즉시 인정한다. 근거 없는 확신은 앞으로의 의사결정을 약화한다. 의사결정과 관련된 결론, 이를 뒷받침하는 근거, 주요 주의 사항 및 불확실성을 가장 크게 줄일 다음 검사를 마지막에 제시한다.