Comprobar si un cambio en el producto funciona comparando grupos repartidos al azar (prueba A/B)

## Decide si una prueba comparativa puede responder a tu pregunta Empieza por la decisión que debe fundamentar la evidencia. Un experimento controlado en línea resulta útil cuando es posible asignar un cambio, medir un resultado y gestionar la exposición de forma segura. Confirma que: - la intervención se mantenga suficientemente estable durante la prueba; - las unidades elegibles puedan asignarse sin interferencias inaceptables; - el resultado pueda producirse dentro de un periodo observable; - el aprendizaje esperado justifique el tráfico, el tiempo y el riesgo; - la organización pueda actuar ante cada resultado plausible. No utilices un experimento para compensar un problema mal definido o unos instrumentos de medición poco fiables. Utiliza investigación cualitativa, análisis operativo, simulación o métodos observacionales cuando la pregunta se refiera a por qué ocurre una conducta, a daños poco frecuentes, a efectos a largo plazo o a un cambio que no pueda asignarse. ## Escribe una predicción que diga qué harás con cada resultado Antes de implementar, indica el cambio propuesto, la población afectada, el mecanismo conductual esperado, el resultado principal, la dirección del efecto y la consecuencia para la decisión. Fundamenta la hipótesis en evidencia previa en lugar de probar cambios superficiales arbitrarios. Una hipótesis útil identifica: - el problema actual y la observación que lo respalda; - la intervención y lo que permanece sin cambios; - la respuesta esperada y su mecanismo; - la métrica principal y la ventana de análisis; - el efecto mínimo que justificaría actuar; - la acción correspondiente a resultados positivos, neutros y perjudiciales. Distingue la exploración de la confirmación. Si el equipo no puede indicar qué resultado modificaría la decisión, precisa la pregunta antes de consumir tráfico experimental. ## Elige a quién incluir en la prueba y cómo repartirlos en grupos Especifica la unidad experimental, la población que cumple los requisitos para participar y el momento en que se realiza la asignación. La unidad puede ser una persona, una cuenta, un dispositivo, una sesión, una ubicación u otra entidad, pero la elección debe corresponderse con la forma en que se propagan la intervención y los resultados. Documenta: - las reglas de inclusión y exclusión; - las proporciones de asignación; - el procedimiento de aleatorización o emparejamiento; - la persistencia de la asignación entre visitas; - el tratamiento de unidades nuevas y recurrentes; - las interacciones conocidas entre unidades. Impide que una misma unidad reciba variantes incompatibles, salvo que el diseño modele explícitamente la exposición repetida. Cuando los miembros de un grupo se influyan entre sí, realiza la asignación a nivel de grupo o ten en cuenta la interferencia en el diseño y el análisis. ## Crea versiones de prueba que cambien solo lo que quieres comprobar Cambia únicamente lo que exige la hipótesis y mantén uniforme el comportamiento no relacionado. La comparación debe aislar una intervención significativa, en vez de agrupar varias modificaciones imposibles de rastrear. Para cada variante, registra: - la diferencia exacta visible para el usuario y en el sistema; - la persona responsable de la implementación y la versión; - las condiciones de exposición previstas; - los riesgos de accesibilidad, privacidad y funcionamiento; - el comportamiento alternativo si falla la entrega; - las comprobaciones que demuestran que se sirvió la variante prevista. Varios cambios simultáneos pueden estimar el efecto de un conjunto, pero no permiten identificar qué componente lo causó. Utiliza un diseño factorial o multivariante solo cuando la muestra, el plan de análisis y la necesidad de decisión justifiquen la complejidad añadida. ## Fija de antemano la cifra principal y las cifras que vigilan daños Elige una métrica principal para la decisión que represente la conducta planteada en la hipótesis y pueda interpretarse en el nivel de la unidad experimental. Define su numerador, denominador, unidad, ventana de atribución, exclusiones y tratamiento de los eventos repetidos. Añade métricas de protección para detectar efectos que la métrica principal podría ocultar: - retención o uso repetido; - finalización de tareas y errores; - latencia y fiabilidad; - reembolsos, reclamaciones o demanda de asistencia; - ingresos, costes o margen; - indicadores de privacidad, equidad o seguridad. No redefinas el éxito después de observar los datos. Etiqueta las métricas de diagnóstico como secundarias e indica si contribuyen a la explicación, la supervisión o la generación de futuras hipótesis. ## Decide antes de empezar cuántas personas necesitas y cuándo parar Estima la muestra necesaria a partir de la tasa de referencia o la varianza, el efecto mínimo detectable, los criterios de error estadístico, la asignación y el método de análisis previsto. Elige el efecto mínimo según su valor práctico y el coste de implementación, no según la muestra que resulte conveniente. Antes del lanzamiento, registra: - el tráfico elegible previsto; - la muestra objetivo por variante; - el tiempo mínimo de ejecución necesario para cubrir los ciclos conocidos; - el tiempo máximo de ejecución o la condición de caducidad; - el método de análisis de horizonte fijo o secuencial; - las reglas para detener la prueba por daños o fallos técnicos. La significación estadística no sustituye una exposición adecuada ni una elección representativa del periodo. No inspecciones repetidamente una prueba ordinaria de horizonte fijo para detenerla la primera vez que cruce un umbral favorable. ## Comprueba que el reparto en grupos y el registro de datos funcionan antes de leer los resultados Verifica la asignación, la exposición, la recopilación de eventos y el cálculo de métricas antes de interpretar los resultados. Ejecuta el proceso completo con cuentas de prueba o eventos sintéticos y compara después los datos registrados con el comportamiento esperado. Comprueba que: - la asignación coincida con las proporciones configuradas; - los identificadores permanezcan estables y las variantes no se mezclen; - la exposición se registre antes que los resultados atribuibles; - los eventos no estén duplicados ni se descarten de forma silenciosa; - los relojes, las zonas horarias y las ventanas estén alineados; - las consultas de métricas reproduzcan ejemplos conocidos. Una comparación entre variantes idénticas puede revelar defectos de asignación, instrumentación o análisis, pero no demuestra que toda intervención futura sea válida. Define tolerancias de diagnóstico aceptables antes de revisar el resultado. ## Empieza con pocos usuarios y vigila si aparecen daños Empieza con una exposición limitada cuando la intervención pueda afectar a los ingresos, la fiabilidad, la confianza o el bienestar de los participantes. Aumenta la asignación únicamente después de que las comprobaciones de entrega y protección se mantengan dentro de los límites predefinidos. Supervisa señales operativas como: - recuentos de asignaciones y exposiciones; - tasas de error y latencia; - eventos ausentes o mal formados; - cambios graves en las métricas de protección; - informes de asistencia o incidentes; - desequilibrio en atributos importantes previos al experimento. Separa la supervisión de emergencias del análisis de resultados. Detener la prueba por un daño verificado o una entrega defectuosa protege a los participantes y la calidad de los datos; detenerla porque una estimación temprana resulta poco atractiva modifica el contrato estadístico. ## No cambies la prueba mientras está en marcha Mantén estables la lógica de las variantes, la elegibilidad, las métricas y el código de análisis durante la prueba planificada, salvo que la seguridad o la corrección exijan intervenir. Registra todos los eventos operativos que puedan alterar la exposición o la medición. Evita: - experimentos simultáneos con interacciones no modeladas; - campañas o lanzamientos que afecten solo a una variante; - la reasignación manual de unidades seleccionadas; - excluir observaciones en función de conductas posteriores a la asignación; - prolongar o acortar la prueba para obtener un resultado deseado. Si se produce un cambio sustancial, determina si debes reiniciar, modificar el plan de análisis o informar de que el resultado está comprometido. No combines de forma silenciosa datos recopilados con definiciones incompatibles. ## Informa del tamaño del efecto y de cuánta certeza hay Analiza las unidades según la condición que se les asignó, salvo que un diseño predefinido exija otro estimando. Informa del tamaño del efecto y de la incertidumbre, no solo de una etiqueta de umbral. El análisis debe incluir: - recuentos de muestra y exposición por variante; - comprobaciones de calidad y equilibrio de los datos; - estimaciones de la métrica principal y las métricas de protección; - efectos absolutos y relativos cuando resulte pertinente; - intervalos de confianza o de credibilidad; - análisis de datos ausentes y de sensibilidad; - desviaciones respecto al método previsto. Separa la significación estadística de la importancia práctica. Un efecto trivial estimado con precisión puede no justificar la implementación, mientras que una estimación incierta puede justificar la obtención de más evidencia en vez de una afirmación de ausencia de efecto. ## Evita conclusiones por azar al dividir los resultados en grupos pequeños Trata con cautela los hallazgos de subgrupos y métricas secundarias, sobre todo cuando se hayan seleccionado después de que los resultados fueran visibles. Cada comparación adicional aumenta la probabilidad de que surja por azar un resultado aparentemente destacable. Antes de afirmar que existe un efecto en un segmento: - define el segmento con independencia de la conducta posterior al tratamiento; - confirma que la muestra y el solapamiento sean suficientes; - contrasta la interacción en vez de comparar etiquetas de significación separadas; - aplica el control de multiplicidad previsto; - busca una replicación cuando el hallazgo impulse una decisión con consecuencias importantes. Utiliza desgloses exploratorios para generar hipótesis, no para reescribir la prueba original. Informa de todas las comparaciones importantes consideradas para que los lectores puedan evaluar el riesgo de selección. ## Decide si lanzar el cambio y deja constancia por escrito Combina la estimación experimental con el coste de implementación, la evidencia cualitativa, las restricciones operativas, las consideraciones éticas y la duración probable del efecto. Elige explícitamente entre lanzar, rechazar, revisar, repetir o seguir investigando. El registro final debe conservar: - la hipótesis original y la regla de decisión; - la población, las variantes, las fechas y la muestra; - las definiciones de las métricas y el método de análisis; - las estimaciones del efecto y la incertidumbre; - los resultados de las métricas de protección y los incidentes; - las limitaciones, las exclusiones y las desviaciones; - la decisión, la persona responsable y la medida de seguimiento. No afirmes que un solo experimento explica por qué cambió la conducta ni que demuestra que el efecto persistirá en otra población o contexto. Archiva el análisis reproducible y supervisa el cambio implementado para que la evidencia posterior pueda confirmar, matizar o revocar la decisión.