개선할 결정에서 출발해 데이터 분석 프로젝트를 실제 활용까지 진행하기

## 단계별로 진행하고 가정이 틀리면 앞 단계로 돌아가기 프로젝트를 경직된 순서가 아니라 서로 연결된 생애주기로 구성한다. 의사결정 이해, 데이터 이해, 데이터 준비, 모델링, 평가, 배포 단계를 진행하되, 증거가 가정을 무효화하거나 새로운 요구사항을 드러낼 때마다 이전 단계로 돌아간다. 각 단계마다 예상 결과와 검토 시점을 정한다. 입력, 결정, 발견 사항, 해결되지 않은 질문, 앞으로 나아가거나 되돌아간 이유를 기록한다. 문제에 따라 생애주기에서 특정 단계의 비중이 달라질 수 있지만, 어느 단계가 덜 중요해 보인다는 이유만으로 후속 단계의 질문을 무시하지 않는다. 프로젝트 전체에서 의사결정 문제를 계속 보이게 한다. 분석 활동은 의사결정, 절차, 제품 또는 측정 가능한 결과를 개선할 때만 유용하다. ## 개선할 결정을 분석 질문과 계획으로 바꾸기 먼저 의사결정의 맥락, 원하는 결과, 현재 절차, 이해관계자, 업무에서 기대하는 가치를 설명한다. 의사결정 관점과 분석 관점에서 각각 측정 가능한 성공 기준을 정하고 서로 분리해, 기술 성능이 현실의 가치를 몰래 대체하지 못하게 한다. 활용할 수 있는 인력, 데이터, 도구, 시간, 예산, 분야 지식을 조사한다. 요구사항, 가정, 법적 또는 운영상 제약, 용어, 위험, 비상 대안, 비용, 기대 편익을 문서화한다. 의사결정 목표를 분석 질문, 목표 산출물, 수용 기준으로 바꾼다. 단계, 의존 관계, 자원, 주요 이정표, 검토 시점, 후보 기법을 포함한 프로젝트 계획을 작성한다. 이후의 증거가 원래의 이해를 바꾸면 계획을 수정한다. ## 데이터를 살펴보고 질문에 답할 수 있는지 확인하기 초기에 대표성 있는 데이터 집합을 수집하고 출처, 소유권, 획득 조건, 시간 범위, 알려진 한계를 문서화한다. 결론을 내리기 전에 레코드 수, 필드, 유형, 범위, 분포, 관계, 중요한 메타데이터를 설명한다. 데이터를 탐색해 초기 가설을 검증하고, 예상하지 못한 패턴을 드러내며, 유망하거나 무관한 필드를 찾는다. 관찰과 해석을 구분하고, 각 결론을 이를 뒷받침하는 데이터와 방법까지 추적할 수 있게 한다. 완전성, 유효성, 일관성, 고유성, 적시성, 의도한 의사결정에 대한 적합성을 검증한다. 결측값, 오류, 잡음, 편향 위험, 수집 공백을 데이터 품질 보고서에 기록한다. 데이터가 목표를 뒷받침할 수 없다면 모델을 억지로 만들지 말고 목표, 수집 계획 또는 프로젝트 범위로 돌아간다. ## 데이터를 정리·결합하고 모든 변경을 기록하기 관련성, 품질, 기술적 제약, 계획한 평가 설계에 따라 레코드와 필드를 선택한다. 이후 검토자가 분석 대상 모집단을 재현할 수 있도록 데이터를 포함하거나 제외한 이유를 밝힌다. 명시적인 규칙에 따라 오류와 결측값을 정리한다. 의미와 계산법이 문서화된 경우에만 파생 속성을 만든다. 검증된 키와 데이터 세분성을 기준으로 출처를 통합한 다음, 의도한 의미를 바꾸지 않으면서 선택한 방법에 맞게 결과 형식을 정리한다. 출처 버전, 선택 규칙, 정리 작업, 파생 필드, 결합, 형식 정리, 결과 품질을 다루는 변환 기록을 유지한다. 데이터 준비 과정에서 이상 현상이 드러나거나 중요한 필드의 해석이 바뀌면 데이터 이해 단계로 돌아간다. ## 모델을 고르고 만들기 전에 공정한 시험 방법 정하기 분석 목표, 데이터 특성, 가정, 설명 가능성 요구, 운영상 제약, 성공 기준에 따라 기법을 선택한다. 각 후보 방법이 적합한 이유와 어떤 조건에서 무효가 되는지 문서화한다. 모델 적합 전에 평가를 설계한다. 학습 및 시험 데이터 분할, 비교 기준선, 측정 지표, 표본 추출 규칙, 평가 데이터가 모델 구성에 영향을 주지 못하게 하는 절차를 정한다. 후보 접근법을 비교할 때도 같은 설계를 사용한다. 불확실성 때문에 비교가 필요하다면 근거가 있는 후보를 여러 개 만든다. 모든 실행에 대해 데이터 버전, 특성, 매개변수, 가정, 실행 조건, 결과를 기록한다. 미리 정한 기술 기준에 따라 모델 품질을 평가하고, 순위가 가장 높다는 이유만으로 결과를 선택하지 말고 실패를 조사한다. ## 점수만이 아니라 결정에 도움이 되는지로 결과 판단하기 기술 기준과 원래의 의사결정 성공 기준을 모두 적용해 분석 결과를 검토한다. 발견 사항이 충분히 정확하고, 명시한 문제와 관련이 있으며, 이해관계자가 이해할 수 있고, 운영상 제약 안에서 실행 가능한지 확인한다. 전체 절차에서 놓친 요구사항, 취약한 가정, 데이터 한계, 막다른 경로, 예상 밖의 결과, 대안적 선택을 점검한다. 증거가 부족하면 이전 단계로 돌아간다. 반복은 예상되는 과정이며 숨기지 말고 문서화해야 한다. 다음 단계를 명시적으로 선택한다. 배포로 진행하거나, 현재 접근법을 다듬거나, 교체하거나, 더 나은 데이터를 수집하거나, 중단한다. 결정의 근거가 된 증거를 문서화한다. 기술적으로 뛰어난 결과라도 의사결정 목표를 해결하지 못하면 진행해서는 안 된다. ## 결과를 실제로 쓰고 정확도가 떨어지는지 지켜보기 배포는 모델을 운영 시스템에 통합하는 것일 수도 있고, 사람들이 의사결정이나 절차를 바꿀 수 있도록 발견 사항을 전달하는 것일 수도 있다. 각 결과에 대해 대상, 책임자, 전달 방식, 의존 관계, 구현 단계, 기술 요구사항, 비상 계획을 정한다. 출시 전에 모니터링을 정의한다. 추적할 요소, 유효성과 정확성의 측정값, 보고 주기, 경고 임계값, 데이터나 모델의 점진적 변화, 유효기간 만료 또는 유용성 상실을 나타내는 조건을 명시한다. 각 조건에 재보정, 재구축, 교체, 신규 프로젝트 중 무엇이 필요한지 미리 결정한다. 시스템을 운영하는 사람, 데이터를 유지하는 사람, 의사결정을 내리는 사람, 결과의 영향을 받는 사람과 조율한다. 실용적인 경우 정기 모니터링을 자동화하되, 맥락이나 허용 가능한 상충 관계에 따라 판단해야 하는 사안은 사람이 검토하게 한다. ## 최종 기록을 쓰고 배운 점을 다음 프로젝트에 남기기 원래 문제, 성공 기준, 방법, 비용, 계획과의 편차, 데이터 한계, 결과, 배포 방식, 모니터링 계획, 권장 후속 작업을 다루는 최종 기록을 만든다. 근거가 되는 증거는 바꾸지 않으면서 각 대상에 맞게 설명 수준을 조정한다. 각 단계가 기여한 가치, 피할 수 있었던 작업, 실패, 막다른 경로, 뜻밖의 결과, 더 나은 대안을 검토한다. 가능하면 프로젝트 참여자와 배포된 결과의 영향을 받는 사람에게 의견을 받는다. 의사결정, 보고서, 재사용 가능한 변환, 평가 설계, 교훈을 향후 프로젝트가 찾아 이해할 수 있는 형태로 보존한다. 모델 품질뿐 아니라 의도한 편익을 제공했는지, 다음 분석을 수행할 조직의 역량을 높였는지까지 고려해 프로젝트를 평가한다.