Analiza datos comprobando cómo se recogieron y descartando otras explicaciones

## Parte de la pregunta y averigua cómo se recogieron los datos Comienza con una pregunta o hipótesis concreta, no con una herramienta o técnica preferida. Indica qué decisión debe fundamentar el análisis y qué evidencia podría cambiarla. Antes de calcular métricas, documenta: - la población, el evento o el proceso que representan los datos; - cómo, dónde y cuándo se recopilaron las observaciones; - la asignación del experimento, la instrumentación y los criterios de elegibilidad; - las lagunas conocidas, los registros tardíos, el muestreo y los límites de conservación; - los eventos inusuales ocurridos durante el periodo de medición; - las unidades de análisis y las dependencias entre observaciones. Examina directamente el producto, el proceso o el experimento siempre que sea posible. Si no puedes usarlo directamente, revisa descripciones fiables del comportamiento y las especificaciones de recopilación. No supongas que una tabla representa el fenómeno previsto solo porque sus campos tienen nombres plausibles. Registra la pregunta inicial, los supuestos y los invariantes esperados. Permite que la pregunta evolucione durante la exploración, pero distingue las preguntas revisadas de la original. ## Revisa primero los datos y separa describir los resultados de juzgarlos Mantén diferenciadas las tres etapas del análisis, aunque el trabajo avance de forma iterativa entre ellas. 1. La validación pregunta si los datos son internamente coherentes, se recopilaron correctamente y representan el proceso previsto. 2. La descripción expone qué muestran las mediciones sin atribuirles valor ni beneficio. 3. La evaluación juzga si el cambio descrito es deseable para las personas, el sistema o el objetivo pertinentes. Identifica la etapa de cada afirmación en las notas y los informes, y resuelve los fallos de validación antes de confiar en resultados descriptivos. Usa un lenguaje descriptivo neutral para la dirección, la magnitud, la incertidumbre y la población. Explicita los criterios de evaluación en lugar de integrarlos en los nombres de las métricas. Antes de responder la pregunta principal, comprueba las variables que deberían permanecer estables: - el tamaño y la composición de la población; - los recuentos de asignación o exposición; - los volúmenes de eventos y consultas; - las tasas de registro y de errores; - los valores faltantes y la latencia; - las métricas de referencia no afectadas. No interpretes un cambio en la métrica objetivo hasta haber descartado cambios plausibles en la medición o la población. ## Mira más allá del promedio: la dispersión y ejemplos reales No dependas únicamente de promedios u otras estadísticas resumidas. Examina representaciones que revelen la forma, la dispersión, las colas, la multimodalidad y las discontinuidades. Elige histogramas, cuantiles, distribuciones acumuladas u otras vistas de distribución adecuadas. Asocia incertidumbre a las estimaciones mediante métodos adecuados para la estructura de muestreo y dependencia. Los grandes conjuntos de datos no eliminan la aleatoriedad, el sesgo ni el error de medición. Distingue entre una estimación precisa de la cantidad equivocada y una estimación válida de la cantidad prevista. Examina ejemplos sin procesar siempre que una nueva lógica de análisis transforme o clasifique datos. Toma muestras de: - cada clase importante; - categorías comunes y poco frecuentes; - las zonas centrales y extremas de las distribuciones numéricas; - casos correctos, fallidos, faltantes y mal formados; - registros próximos a los umbrales de decisión. Investiga los valores atípicos antes de excluirlos o agruparlos; pueden revelar defectos de instrumentación, comportamientos no contabilizados, supuestos inválidos o casos realmente inusuales. Si filtras o agrupas valores atípicos, registra la regla, el recuento, la justificación y el efecto sobre las conclusiones. Limita la investigación únicamente cuando la incertidumbre restante sea irrelevante para la decisión. ## Divide los resultados por grupos y periodos para ver si se mantienen Divide los resultados agregados en subgrupos cuando el comportamiento subyacente pueda diferir entre poblaciones o entornos. Elige los segmentos a partir del conocimiento del dominio, los límites de recopilación y los modos de fallo plausibles, en vez de buscar indefinidamente resultados llamativos. Para cada segmento importante, examina: - el valor de la métrica y su incertidumbre; - el tamaño de la muestra y los valores faltantes; - la proporción relativa de los grupos comparados; - la calidad de los datos y las diferencias de interacción; - la coherencia con el resultado agregado. Al comparar grupos o periodos, comprueba si cambió la composición; una mezcla distinta de subgrupos puede invertir o distorsionar las conclusiones agregadas aunque el comportamiento dentro de cada segmento sea estable. No condiciones el análisis a variables modificadas por la intervención o por la retroalimentación del sistema, salvo que abordes explícitamente el sesgo resultante. Segmenta por tiempo para detectar lanzamientos, interrupciones, estacionalidad, cambios de registro y deriva gradual. No descartes un periodo inusual solo por serlo; busca primero una explicación causal. Comprueba la estabilidad en varias ventanas temporales, poblaciones y submuestras aleatorias razonables. Separa la significación estadística de la importancia práctica evaluando el tamaño del efecto, la incertidumbre, la población afectada, el coste de la decisión y las consecuencias de actuar o no actuar. La ausencia de significación estadística no demuestra que no exista un efecto relevante. ## Anota cómo se define cada métrica y qué quitó cada filtro Define cada métrica para que cualquier otro analista pueda reproducir la población a la que se aplica y su cálculo. En una razón, indica el numerador, el denominador, la unidad, la ventana temporal y los criterios de elegibilidad. Si una métrica solo existe después de que ocurra un evento, declara explícitamente ese condicionamiento. Registra el filtrado como parte del análisis, no como un preprocesamiento invisible. En cada paso de filtrado, anota: - la regla y su propósito; - las filas, entidades o eventos antes y después; - la proporción eliminada; - el solapamiento con filtros anteriores; - si la eliminación difiere entre los grupos comparados; - la sensibilidad del resultado a la regla. Cuando sea viable, calcula métricas de diagnóstico tanto para las poblaciones incluidas como para las excluidas. No ocultes casos difíciles de analizar, desconocidos o inconvenientes sin cuantificarlos. Comienza con métricas consolidadas antes de introducir métricas personalizadas. Si las métricas estándar y las personalizadas no concuerdan, investiga las definiciones, el registro y el filtrado antes de aceptar la nueva medida. Aplica primero una métrica nueva a datos históricos o a un caso bien entendido en el que puedas comprobar su comportamiento esperado. No evalúes un cambio del sistema con una métrica que ese mismo cambio retroalimente o manipule directamente. Usa un resultado independiente o un diseño que tenga en cuenta el ciclo de retroalimentación. ## Mide los resultados importantes de otra forma y comprueba que se repiten Mide los fenómenos importantes de más de una manera justificable. Da prioridad a contrastes que difieran en la implementación, la fuente de datos, el método de muestreo o la definición operativa. Compara los resultados con: - métricas de referencia consolidadas; - mediciones anteriores de poblaciones relacionadas; - fuentes de datos independientes; - implementaciones alternativas; - ejecuciones repetidas con entradas fijas; - intervalos temporales cercanos y submuestras razonables. No es necesario que exista una coincidencia exacta cuando las poblaciones o los métodos difieren, pero las discrepancias sustanciales requieren una explicación. Considera los resultados sorprendentes como no verificados hasta investigar el error de medición y los factores de confusión conocidos. En modelos y estimaciones derivadas, perturba las entradas dentro de límites realistas y comprueba si las conclusiones permanecen estables. Verifica que las ejecuciones repetidas produzcan el mismo resultado cuando se espera determinismo. Conserva los parámetros del análisis, las versiones de los datos, los recuentos de filtrado y las revisiones del código necesarios para reproducirlo. Ejecuta primero la validación estándar y después añade comprobaciones personalizadas motivadas por la pregunta concreta. No uses un único cálculo correcto como prueba de que el resultado es reproducible. ## Prueba otras explicaciones antes de afirmar una causa Convierte las anomalías y tendencias observadas en hipótesis explícitas. Para cada hipótesis, anota qué evidencia la respaldaría y qué evidencia la debilitaría o refutaría. Busca explicaciones alternativas relacionadas con: - la selección y la asignación; - los cambios en el registro o la instrumentación; - la estacionalidad y los eventos externos; - la composición de la población; - las comparaciones múltiples; - la causalidad inversa; - las causas comunes ocultas; - la retroalimentación del sistema. Usa comparaciones, variación natural, experimentos controlados o evidencia externa adecuados para la afirmación. Comprueba si el efecto aparece donde lo predice el mecanismo propuesto y está ausente donde no debería aplicarse. Compara la magnitud observada con el alcance y el momento plausibles del mecanismo. La correlación por sí sola no establece causalidad. No presentes una relación basada en una variable proxy como estable sin una teoría y evidencia que expliquen por qué debería persistir. Indica claramente qué puede establecer el diseño, qué no puede establecer y qué supuestos exige una interpretación causal. Busca activamente evidencia que contradiga la hipótesis, especialmente cuando las partes interesadas prefieren una respuesta concreta. Revisa o abandona la explicación cuando la evidencia contradictoria sea más sólida. ## Pide una revisión a un colega e informa los límites junto con los hallazgos En trabajos exploratorios, completa pronto un análisis de principio a fin para aprender del flujo completo. Registra los aspectos incompletos, las exclusiones y los casos sin resolver; después mejora las etapas que influyan de forma sustancial en la conclusión. No perfecciones la primera transformación mientras la lógica final de decisión siga sin probarse. Solicita una revisión por pares antes de presentar conclusiones a quienes toman decisiones. Pide que se cuestionen: - los supuestos sobre la recopilación y la población; - las definiciones de métricas y filtros; - los cálculos de incertidumbre; - la selección de segmentos y los cambios de composición; - el lenguaje causal; - la reproducibilidad; - la relevancia práctica. En el informe final, distingue hechos observados, interpretaciones, evaluaciones y recomendaciones. Incluye la pregunta, el alcance, la ventana de datos, las definiciones de métricas, los tamaños del efecto, la incertidumbre, las exclusiones, las comprobaciones de sensibilidad y las limitaciones pendientes. Informa de los resultados nulos, contradictorios y no respaldados junto con los favorables. Usa herramientas adecuadas para el problema analítico, en lugar de forzar cada pregunta a pasar por un método conocido. Reconoce con prontitud lo que se desconoce y los errores; la certeza sin respaldo debilita las decisiones futuras. Termina con la conclusión pertinente para la decisión, la evidencia que la sustenta, las principales salvedades y la siguiente comprobación que más reduciría la incertidumbre.