Descubra se uma mudança no produto funciona comparando grupos sorteados (teste A/B)

## Decida se um teste de comparação responde à sua pergunta Comece pela decisão que as evidências precisam fundamentar. Um experimento on-line controlado é útil quando uma mudança pode ser atribuída, um resultado pode ser medido e a exposição pode ser gerenciada com segurança. Confirme que: - a intervenção seja suficientemente estável durante o teste; - as unidades elegíveis possam ser atribuídas sem interferência inaceitável; - o resultado possa ocorrer dentro de um período observável; - o aprendizado esperado justifique o tráfego, o tempo e o risco; - a organização possa agir diante de cada resultado plausível. Não use um experimento para compensar um problema indefinido ou uma instrumentação não confiável. Use pesquisa qualitativa, análise operacional, simulação ou métodos observacionais quando a pergunta tratar do motivo de um comportamento, de danos raros, de efeitos de longo prazo ou de uma mudança que não possa ser atribuída. ## Escreva uma previsão que diga o que fazer com cada resultado Antes da implementação, declare a mudança proposta, a população afetada, o mecanismo comportamental esperado, o resultado principal, a direção do efeito e a consequência para a decisão. Fundamente a hipótese em evidências anteriores, em vez de testar mudanças superficiais arbitrárias. Uma hipótese útil identifica: - o problema atual e a observação que o sustenta; - a intervenção e o que permanece inalterado; - a resposta esperada e seu mecanismo; - a métrica principal e a janela de análise; - o menor efeito que justificaria uma ação; - a ação correspondente a resultados positivos, neutros e prejudiciais. Distinga exploração de confirmação. Se a equipe não conseguir declarar qual resultado mudaria a decisão, refine a pergunta antes de consumir tráfego experimental. ## Escolha quem participa do teste e como dividir as pessoas em grupos Especifique a unidade experimental, a população elegível para inclusão e o momento em que ocorre a atribuição. A unidade pode ser uma pessoa, conta, dispositivo, sessão, local ou outra entidade, mas a escolha precisa corresponder à forma como a intervenção e os resultados se propagam. Documente: - as regras de inclusão e exclusão; - as proporções de alocação; - o procedimento de randomização ou pareamento; - a persistência da atribuição entre visitas; - o tratamento de unidades novas e recorrentes; - as interações conhecidas entre unidades. Impeça que uma unidade receba variantes incompatíveis, a menos que o desenho modele explicitamente a exposição repetida. Quando os membros de um grupo influenciarem uns aos outros, faça a atribuição no nível do grupo ou considere a interferência no desenho e na análise. ## Crie versões de teste que mudem só o que você quer verificar Mude apenas o que a hipótese exige e mantenha consistente o comportamento não relacionado. A comparação deve isolar uma intervenção relevante, em vez de agrupar várias modificações que não possam ser rastreadas. Para cada variante, registre: - a diferença exata visível para o usuário e no nível do sistema; - o responsável pela implementação e a versão; - as condições de exposição esperadas; - os riscos de acessibilidade, privacidade e operação; - o comportamento alternativo caso a entrega falhe; - as verificações que comprovam que a variante pretendida foi fornecida. Várias mudanças simultâneas podem estimar o efeito de um conjunto, mas não conseguem identificar qual componente o causou. Use um desenho fatorial ou multivariado somente quando a amostra, o plano de análise e a necessidade da decisão justificarem a complexidade adicional. ## Defina antes o número principal e os números que vigiam danos Escolha uma métrica decisória principal que represente o comportamento proposto na hipótese e possa ser interpretada no nível da unidade experimental. Defina seu numerador, denominador, unidade, janela de atribuição, exclusões e tratamento de eventos repetidos. Acrescente métricas de proteção para efeitos que a métrica principal possa ocultar: - retenção ou uso repetido; - conclusão de tarefas e erros; - latência e confiabilidade; - reembolsos, reclamações ou demanda de suporte; - receita, custo ou margem; - indicadores de privacidade, equidade ou segurança. Não redefina o sucesso depois de observar os dados. Identifique as métricas de diagnóstico como secundárias e informe se elas contribuem para explicação, monitoramento ou geração de hipóteses futuras. ## Antes de começar, defina quantas pessoas são necessárias e quando parar Estime a amostra necessária com base na taxa de referência ou variância, no efeito mínimo detectável, nos critérios de erro estatístico, na alocação e no método de análise planejado. Escolha o efeito mínimo com base no valor prático e no custo de implementação, e não na amostra que por acaso seja conveniente. Antes do lançamento, registre: - o tráfego elegível esperado; - a amostra-alvo por variante; - o tempo mínimo de execução necessário para cobrir ciclos conhecidos; - o tempo máximo de execução ou a condição de expiração; - o método de análise de horizonte fixo ou sequencial; - as regras de interrupção por dano ou falha técnica. A significância estatística não substitui uma exposição adequada nem um período representativo. Não inspecione repetidamente um teste comum de horizonte fixo para interrompê-lo na primeira vez que cruzar um limiar favorável. ## Verifique se a divisão em grupos e o registro de dados funcionam antes de ler os resultados Verifique a atribuição, a exposição, a coleta de eventos e o cálculo das métricas antes de interpretar os resultados. Execute o processo completo com contas de teste ou eventos sintéticos e depois compare os dados registrados com o comportamento esperado. Verifique se: - a alocação corresponde às proporções configuradas; - os identificadores permanecem estáveis e as variantes não se misturam; - a exposição é registrada antes dos resultados atribuíveis; - os eventos não são duplicados nem descartados silenciosamente; - os relógios, fusos horários e janelas estão alinhados; - as consultas de métricas reproduzem exemplos conhecidos. Uma comparação entre variantes idênticas pode revelar defeitos de alocação, instrumentação ou análise, mas não comprova que todas as intervenções futuras sejam válidas. Defina tolerâncias de diagnóstico aceitáveis antes de analisar o resultado. ## Comece com poucos usuários e vigie se surgem danos Comece com exposição limitada quando a intervenção puder afetar receita, confiabilidade, confiança ou o bem-estar dos participantes. Aumente a alocação somente depois que as verificações de entrega e das métricas de proteção permanecerem dentro dos limites predefinidos. Monitore sinais operacionais como: - contagens de atribuições e exposições; - taxas de erro e latência; - eventos ausentes ou malformados; - alterações graves nas métricas de proteção; - relatos de suporte ou incidentes; - desequilíbrio em atributos importantes anteriores ao experimento. Separe o monitoramento de emergência da análise dos resultados. Interromper devido a um dano confirmado ou a uma entrega defeituosa protege os participantes e a qualidade dos dados; interromper porque uma estimativa inicial parece desfavorável muda o acordo estatístico. ## Não mude o teste enquanto ele está em andamento Mantenha estáveis a lógica das variantes, a elegibilidade, as métricas e o código de análise durante o teste planejado, a menos que a segurança ou a correção exija uma intervenção. Registre todos os eventos operacionais que possam alterar a exposição ou a medição. Evite: - experimentos simultâneos com interações não modeladas; - campanhas ou lançamentos que afetem apenas uma variante; - a reatribuição manual de unidades selecionadas; - excluir observações com base no comportamento posterior à atribuição; - estender ou encurtar o teste para obter um resultado desejado. Se ocorrer uma mudança relevante, determine se é necessário reiniciar, alterar o plano de análise ou relatar o resultado como comprometido. Não combine silenciosamente dados coletados com definições incompatíveis. ## Informe o tamanho do efeito e quanta certeza existe Analise as unidades de acordo com a condição que lhes foi atribuída, a menos que um desenho previamente especificado exija outro estimando. Relate o tamanho do efeito e a incerteza, não apenas uma classificação de limiar. A análise deve incluir: - contagens de amostra e exposição por variante; - verificações da qualidade e do equilíbrio dos dados; - estimativas da métrica principal e das métricas de proteção; - efeitos absolutos e relativos quando forem pertinentes; - intervalos de confiança ou de credibilidade; - análise de dados ausentes e de sensibilidade; - desvios em relação ao método planejado. Separe a significância estatística da importância prática. Um efeito trivial estimado com precisão pode não justificar a implementação, enquanto uma estimativa incerta pode justificar a coleta de mais evidências em vez de uma afirmação de ausência de efeito. ## Evite conclusões por acaso ao dividir os resultados em grupos pequenos Trate com cautela as conclusões sobre subgrupos e métricas secundárias, principalmente quando tiverem sido selecionadas depois que os resultados ficaram visíveis. Cada comparação adicional aumenta a probabilidade de um resultado aparentemente notável surgir por acaso. Antes de afirmar que há um efeito em um segmento: - defina o segmento independentemente do comportamento posterior ao tratamento; - confirme que a amostra e a sobreposição sejam adequadas; - teste a interação em vez de comparar classificações de significância separadas; - aplique o controle de multiplicidade planejado; - busque a replicação quando a conclusão orientar uma decisão de grande consequência. Use recortes exploratórios para gerar hipóteses, não para reescrever o teste original. Relate todas as comparações relevantes consideradas para que os leitores possam avaliar o risco de seleção. ## Decida se lança a mudança e registre a decisão Combine a estimativa experimental com o custo de implementação, as evidências qualitativas, as restrições operacionais, as considerações éticas e a provável duração do efeito. Escolha explicitamente entre lançar, rejeitar, revisar, repetir ou investigar mais. O registro final deve preservar: - a hipótese original e a regra de decisão; - a população, as variantes, as datas e a amostra; - as definições das métricas e o método de análise; - as estimativas do efeito e a incerteza; - os resultados das métricas de proteção e os incidentes; - as limitações, exclusões e desvios; - a decisão, o responsável e a medida de acompanhamento. Não afirme que um único experimento explica por que o comportamento mudou nem que comprova que o efeito persistirá em outra população ou contexto. Arquive a análise reproduzível e monitore a mudança implementada para que evidências posteriores possam confirmar, qualificar ou reverter a decisão.