Mantenha a qualidade dos dados adequada ao uso real, da coleta ao descarte

## Defina o que são dados bons pelo uso que terão Trate a qualidade como o grau em que os dados podem apoiar uma decisão, um serviço, uma análise ou uma obrigação específicos. Um conjunto de dados pode estar bem estruturado e, ainda assim, ser inadequado para determinado uso; por isso, comece pelo contexto, em vez de fazer uma promessa genérica de que os dados são “bons”. - Identifique os usuários, as decisões, os resultados e as consequências de erros previstos. - Registre os limites mínimos aceitáveis para as qualidades relevantes para esse uso. - Separe as evidências observáveis das suposições sobre a adequação. - Reavalie a adequação quando mudarem a finalidade, os usuários ou o ambiente operacional. ## Nomeie um responsável para cada conjunto de dados e cada correção Faça da qualidade uma responsabilidade operacional compartilhada, com direitos de decisão claros. A alta liderança financia e prioriza o trabalho, os responsáveis finais aceitam o risco residual, os especialistas projetam os controles e as pessoas que criam ou lidam com dados os aplicam na prática diária. - Atribua um responsável nominal a cada conjunto de dados, controle, problema e ação corretiva importantes. - Defina quem pode aceitar exceções e quem deve ser informado. - Capacite os colaboradores nas normas e verificações pertinentes às suas funções. - Analise regularmente as lacunas de capacidade, os defeitos recorrentes e as ações em atraso. ## Pergunte como os dados são realmente usados e ordene as correções pelo impacto Reúna evidências sobre como os dados são realmente utilizados, e não apenas sobre como seu produtor espera que sejam usados. Usuários diferentes podem precisar de diferentes níveis de atualidade, detalhe, cobertura ou precisão, e uma melhoria pode beneficiar um uso enquanto prejudica outro. - Entreviste uma amostra representativa de produtores, processadores, analistas, operadores e destinatários. - Relacione cada uso às decisões, dependências, impactos de falhas e tolerância à incerteza. - Priorize as melhorias com base no valor para o usuário, no dano evitado, no alcance e no custo de implementação. - Reavalie as prioridades quando a demanda mudar ou surgir um novo uso com consequências graves. ## Crie verificações para cada etapa, do planejamento ao descarte Modele o ciclo de vida como um ciclo interligado: planejar; adquirir; preparar e manter; usar; compartilhar; depois reter ou descartar. O trabalho de qualidade deve acompanhar os dados por essas etapas, pois defeitos introduzidos no início podem permanecer ocultos até uma decisão ou publicação posterior. - Defina critérios de entrada, critérios de saída, validação, evidências e responsabilidades para cada etapa. - Rastreie os campos importantes desde a origem, passando pelas transformações, até os resultados finais. - Devolva um problema à etapa mais inicial em que sua causa possa ser eliminada. - Preserve linhagem e histórico de decisões suficientes para que um revisor possa reconstruir o ocorrido. ## Barre valores errados já na coleta dos dados Evite defeitos que possam ser prevenidos no ponto de captura. As regras de coleta devem facilitar o fornecimento dos valores esperados, rejeitar valores impossíveis sem ocultar exceções legítimas e preservar contexto suficiente para explicar a origem e o significado de cada registro. - Valide campos obrigatórios, formatos, intervalos, identificadores e valores de referência. - Detecte registros ausentes, repetidos, conflitantes ou alterados de forma inesperada. - Registre a procedência, o momento da coleta, as definições e as transformações conhecidas. - Ofereça um canal de retorno para que os usuários a jusante possam comunicar defeitos ao responsável pela fonte. ## Compare contagens e totais antes e depois de processar os dados Proteja o significado enquanto os dados são padronizados, vinculados, transformados, migrados ou atualizados. Automatize verificações estáveis quando for viável, mas mantenha a revisão humana para relações ambíguas, anomalias relevantes e mudanças que possam alterar a interpretação. - Teste as transformações em relação a regras documentadas e casos-limite representativos. - Concilie contagens, totais, chaves e atributos críticos antes e depois do processamento. - Monitore desvios, registros desatualizados, alterações de esquema, vínculos quebrados e variações inexplicadas de volume. - Versione as definições e os controles junto com os sistemas que os implementam. ## Confira se os dados ainda servem antes de usá-los ou compartilhá-los Antes de uma análise, liberação operacional ou compartilhamento externo, verifique se os dados continuam adequados àquele uso exato. Aplique em conjunto os controles de acesso, privacidade, divulgação e qualidade, pois dados tecnicamente válidos ainda podem causar danos quando faltam contexto ou salvaguardas. - Compare os resultados relevantes com as evidências de origem e as limitações conhecidas. - Publique ou transfira, junto com os dados, as definições, a linhagem, as constatações de qualidade e os usos permitidos. - Registre as correções e notifique os destinatários afetados quando um defeito alterar uma conclusão anterior. - Durante a retenção ou o descarte, preserve a integridade, as evidências de auditoria e o conhecimento essencial pelo período exigido. ## Meça cada tipo de problema de dados separadamente, não em uma só nota Use medidas separadas para diferentes tipos de falha, em vez de reduzi-los a uma única pontuação. Considere, no mínimo, se os valores obrigatórios estão presentes, se cada entidade está representada uma única vez, se os valores estão de acordo entre as fontes, se os dados são suficientemente atuais, se os valores cumprem as regras declaradas e se os registros refletem a realidade. - Defina cada métrica com sua população, numerador, denominador, exclusões e período de tempo. - Estabeleça os limites por caso de uso e risco, em vez de copiar um alvo universal. - Mantenha a conformidade com as regras separada da correção em relação ao mundo real. - Acrescente dimensões especializadas quando a decisão depender de características não abrangidas pelo conjunto principal. ## Diga aos usuários o que foi verificado e o que não foi Forneça aos usuários informações suficientes para que possam julgar a adequação por conta própria. Os relatórios de qualidade devem indicar o que foi testado, o que não foi testado, o resultado, o impacto nos negócios, a incerteza não resolvida, além do responsável e do prazo da próxima ação. - Use linguagem simples, preservando as definições necessárias para a reprodutibilidade. - Informe tanto o estado atual quanto a direção da mudança. - Explique as compensações, como liberar mais cedo com menor cobertura ou esperar por uma garantia mais sólida. - Diferencie defeitos confirmados, riscos suspeitos, exceções aceitas e fatores desconhecidos. ## Corrija a causa raiz dos erros repetidos e só encerre casos com provas Trate os defeitos recorrentes como sinais de um processo frágil, e não como tarefas isoladas de limpeza. Contenha o dano imediato, investigue como o defeito foi introduzido e escapou da detecção, depois altere o controle eficaz situado na etapa mais inicial e verifique se a mudança funciona ao longo do tempo. - Registre os problemas com gravidade, usos afetados, evidências, responsável, prazo e situação. - Analise os padrões entre incidentes, etapas, fontes e controles. - Compare os resultados com os limites e os períodos anteriores para identificar deterioração ou melhoria. - Encerre uma ação somente depois que as evidências demonstrarem que a causa-raiz está controlada e que não resta nenhum impacto relevante a jusante.