Analise dados verificando como foram coletados e descartando outras explicações

## Parta da pergunta e descubra como os dados foram coletados Comece com uma pergunta ou hipótese concreta, não com uma ferramenta ou técnica preferida. Declare qual decisão a análise deve fundamentar e quais evidências poderiam mudar essa decisão. Antes de calcular métricas, documente: - a população, o evento ou o processo representado pelos dados; - como, onde e quando as observações foram coletadas; - a alocação no experimento, a instrumentação e as regras de elegibilidade; - lacunas conhecidas, registros atrasados, amostragem e limites de retenção; - eventos incomuns durante o período de medição; - as unidades de análise e quaisquer dependências entre as observações. Examine diretamente o produto, o processo ou o experimento sempre que possível. Se o uso direto não estiver disponível, consulte descrições confiáveis do comportamento e especificações da coleta. Não presuma que uma tabela representa o fenômeno pretendido apenas porque seus campos têm nomes plausíveis. Registre a pergunta inicial, as premissas e os invariantes esperados. Permita que a pergunta evolua durante a exploração, mas diferencie as perguntas revisadas da original. ## Verifique os dados primeiro e separe descrever os resultados de julgá-los Mantenha distintas as três etapas analíticas, mesmo quando o trabalho avançar iterativamente entre elas. 1. A validação pergunta se os dados são internamente consistentes, foram coletados corretamente e representam o processo pretendido. 2. A descrição declara o que as medições mostram sem atribuir valor ou benefício. 3. A avaliação julga se a mudança descrita é desejável para as pessoas, o sistema ou o objetivo pertinentes. Identifique a etapa de cada afirmação em notas e relatórios e resolva falhas de validação antes de confiar em resultados descritivos. Use linguagem descritiva neutra para direção, magnitude, incerteza e população. Explicite os critérios de avaliação em vez de incorporá-los aos nomes das métricas. Antes de responder à pergunta principal, verifique as variáveis que devem permanecer estáveis: - tamanho e composição da população; - contagens de alocação ou exposição; - volumes de eventos e consultas; - taxas de registro e de erros; - ausência de dados e latência; - métricas de referência não afetadas. Não interprete uma mudança na métrica-alvo até descartar mudanças plausíveis na medição ou na população. ## Olhe além da média: a dispersão e exemplos reais Não dependa apenas de médias ou de outras estatísticas resumidas. Examine representações que revelem forma, dispersão, caudas, multimodalidade e descontinuidades. Escolha histogramas, quantis, distribuições acumuladas ou outras visualizações de distribuição adequadas. Associe incerteza às estimativas usando métodos adequados à estrutura de amostragem e de dependência. Grandes conjuntos de dados não eliminam aleatoriedade, viés nem erro de medição. Diferencie uma estimativa precisa da quantidade errada de uma estimativa válida da quantidade pretendida. Examine exemplos brutos sempre que uma nova lógica de análise transformar ou classificar dados. Obtenha amostras de: - todas as classes importantes; - categorias comuns e raras; - regiões centrais e extremas das distribuições numéricas; - casos bem-sucedidos, malsucedidos, ausentes e malformados; - registros próximos aos limiares de decisão. Investigue valores atípicos antes de excluí-los ou agrupá-los; eles podem revelar defeitos de instrumentação, comportamentos não contabilizados, premissas inválidas ou casos realmente incomuns. Se os valores atípicos forem filtrados ou agrupados, registre a regra, a contagem, a justificativa e o efeito sobre as conclusões. Limite a investigação somente quando a incerteza restante for irrelevante para a decisão. ## Divida os resultados por grupos e períodos para ver se eles se mantêm Divida resultados agregados em subgrupos quando o comportamento subjacente puder diferir entre populações ou ambientes. Escolha segmentos com base no conhecimento do domínio, nos limites da coleta e em modos de falha plausíveis, em vez de procurar indefinidamente resultados chamativos. Para cada segmento importante, examine: - o valor da métrica e a incerteza; - o tamanho da amostra e a ausência de dados; - a proporção relativa dos grupos comparados; - a qualidade dos dados e as diferenças de interação; - a consistência com o resultado agregado. Ao comparar grupos ou períodos, verifique mudanças de composição; uma mistura diferente de subgrupos pode inverter ou distorcer conclusões agregadas, mesmo quando o comportamento dentro dos segmentos permanece estável. Não condicione a análise a variáveis alteradas pela intervenção ou pela retroalimentação do sistema, a menos que o viés resultante seja tratado explicitamente. Segmente por tempo para detectar lançamentos, interrupções, sazonalidade, mudanças de registro e deriva gradual. Não descarte um período incomum apenas por ele ser incomum; primeiro procure uma explicação causal. Teste a estabilidade em várias janelas de tempo, populações e subamostras aleatórias razoáveis. Separe a significância estatística da relevância prática avaliando o tamanho do efeito, a incerteza, a população afetada, o custo da decisão e as consequências de agir ou não agir. A ausência de significância estatística não é evidência de que não exista um efeito relevante. ## Registre como cada métrica é definida e o que cada filtro removeu Defina cada métrica para que outro analista possa reproduzir a população à qual ela se aplica e seu cálculo. Para uma razão, informe o numerador, o denominador, a unidade, a janela de tempo e os critérios de elegibilidade. Se uma métrica existir apenas depois que um evento ocorrer, declare explicitamente esse condicionamento. Acompanhe a filtragem como parte da análise, não como um pré-processamento invisível. Em cada etapa de filtragem, registre: - a regra e sua finalidade; - as linhas, entidades ou eventos antes e depois; - a proporção removida; - a sobreposição com filtros anteriores; - se a remoção difere entre os grupos comparados; - a sensibilidade do resultado à regra. Quando viável, calcule métricas de diagnóstico para as populações excluídas e incluídas. Não oculte casos difíceis de analisar, desconhecidos ou inconvenientes sem quantificá-los. Comece com métricas consolidadas antes de introduzir métricas personalizadas. Se as métricas padrão e personalizadas não forem coerentes, investigue as definições, o registro e a filtragem antes de aceitar a nova medida. Aplique primeiro uma nova métrica a dados históricos ou a um caso bem compreendido no qual seu comportamento esperado possa ser verificado. Não avalie uma mudança no sistema com uma métrica que a própria mudança realimenta no sistema ou manipula diretamente. Use um resultado independente ou um desenho que considere o ciclo de retroalimentação. ## Meça os resultados importantes de outro jeito e confira se eles se repetem Meça fenômenos importantes de mais de uma maneira defensável. Priorize verificações cruzadas que difiram na implementação, na fonte de dados, no método de amostragem ou na definição operacional. Compare os resultados com: - métricas de referência consolidadas; - medições anteriores em populações relacionadas; - fontes de dados independentes; - implementações alternativas; - execuções repetidas com entradas fixas; - períodos próximos e subamostras razoáveis. Não é necessário haver concordância exata quando populações ou métodos diferem, mas discrepâncias relevantes exigem explicação. Trate resultados surpreendentes como não verificados até investigar erros de medição e fatores de confusão conhecidos. Para modelos e estimativas derivadas, perturbe as entradas dentro de limites realistas e verifique se as conclusões permanecem estáveis. Confirme que execuções repetidas produzem o mesmo resultado quando se espera determinismo. Preserve os parâmetros da análise, as versões dos dados, as contagens de filtragem e as revisões de código necessárias para a reprodução. Execute primeiro a validação padrão e depois adicione verificações personalizadas motivadas pela pergunta específica. Não use um único cálculo bem-sucedido como prova de que o resultado é reproduzível. ## Teste outras explicações antes de afirmar uma causa Converta anomalias e tendências observadas em hipóteses explícitas. Para cada hipótese, anote as evidências que a apoiariam e as que a enfraqueceriam ou refutariam. Procure explicações alternativas relacionadas a: - seleção e alocação; - mudanças no registro ou na instrumentação; - sazonalidade e eventos externos; - composição da população; - comparações múltiplas; - causalidade reversa; - causas comuns ocultas; - retroalimentação do sistema. Use comparações, variação natural, experimentos controlados ou evidências externas adequadas à afirmação. Verifique se o efeito aparece onde o mecanismo proposto o prevê e está ausente onde ele não deveria se aplicar. Compare a magnitude observada com o alcance e o momento de ocorrência plausíveis do mecanismo. A correlação por si só não estabelece causalidade. Não apresente como estável uma relação baseada em uma variável substituta sem uma teoria e evidências que expliquem por que ela deve persistir. Declare claramente o que o desenho pode estabelecer, o que não pode e quais premissas uma interpretação causal exige. Busque ativamente evidências contrárias, especialmente quando as partes interessadas preferirem uma resposta específica. Revise ou abandone a explicação quando as evidências contraditórias forem mais fortes. ## Peça a revisão de um colega e informe os limites junto com as conclusões Em trabalhos exploratórios, conclua cedo uma análise do início ao fim para aprender com o fluxo completo. Registre aspectos ainda imaturos, exclusões e casos não resolvidos e depois melhore as etapas que afetam materialmente a conclusão. Não aperfeiçoe a primeira transformação enquanto a lógica final de decisão permanecer sem teste. Solicite revisão por pares antes de apresentar conclusões aos responsáveis pelas decisões. Peça aos revisores que questionem: - as premissas sobre coleta e população; - as definições de métricas e filtros; - os cálculos de incerteza; - a seleção de segmentos e as mudanças de composição; - a linguagem causal; - a reprodutibilidade; - a relevância prática. No relatório final, diferencie fatos observados, interpretações, avaliações e recomendações. Inclua a pergunta, o escopo, a janela dos dados, as definições das métricas, os tamanhos de efeito, a incerteza, as exclusões, os testes de sensibilidade e as limitações não resolvidas. Informe resultados nulos, contraditórios e sem suporte junto com os favoráveis. Use ferramentas adequadas ao problema analítico em vez de forçar cada pergunta a um método conhecido. Reconheça prontamente o desconhecimento e os erros; a certeza sem suporte enfraquece decisões futuras. Termine com a conclusão relevante para a decisão, as evidências que a sustentam, as principais ressalvas e a próxima verificação que mais reduziria a incerteza.