Kapacit
Capítulo 3 de 10 · 7 min

Limpeza e qualidade

Vídeo ainda não disponível · o texto completo do capítulo já está disponível abaixo, em leitura de cerca de 7 minutos.

Objetivo do capítulo

Identificar problemas comuns nos dados e aplicar um roteiro simples de conferência de qualidade.

Roteiro do capítulo

Olá, vamos continuar. No capítulo anterior, você viu de onde os dados vêm e como avaliar uma fonte. Agora vamos tratar de um assunto que decide se uma análise será útil ou enganosa: a limpeza e a qualidade dos dados. Ao final deste capítulo, você será capaz de reconhecer os problemas mais comuns em uma base de dados, aplicar um roteiro simples de conferência e saber quando pedir ajuda.

Existe uma frase muito usada entre quem trabalha com dados: se entra lixo, sai lixo. Ela quer dizer que a melhor análise do mundo, feita sobre dados ruins, produz conclusões ruins. E o pior é que um resultado errado costuma parecer tão convincente quanto um certo, porque vem em uma tabela bem formatada. Por isso, a limpeza dos dados não é uma etapa chata e opcional. Ela faz parte do trabalho.

Quais são os problemas mais frequentes? O primeiro é o dado ausente, aquele campo que ficou em branco. Pode ser esquecimento, falha do sistema ou simplesmente algo que não se aplica. O segundo é o dado duplicado, quando o mesmo registro aparece duas vezes, inflando totais. O terceiro é o dado inconsistente, quando a mesma coisa é escrita de formas diferentes, como o mesmo departamento aparecendo com três grafias. O quarto é o dado fora do padrão, como uma data escrita em formato diferente das demais ou um valor monetário digitado com unidade errada. O quinto é o valor absurdo, como uma pessoa com idade de mil anos ou uma compra de valor negativo sem explicação.

Vamos ver um exemplo. Imagine uma planilha de pedidos de uma empresa. Em algumas linhas, o nome do cliente aparece completo. Em outras, abreviado. Em outras ainda, com letras maiúsculas. Para uma pessoa, é claro que se trata do mesmo cliente. Para o computador, são clientes diferentes. Se você somar as compras por cliente sem padronizar os nomes, vai achar que existem muito mais clientes do que de fato existem, e que cada um compra menos do que realmente compra.

Agora uma pergunta para refletir. Quando foi a última vez que você recebeu uma planilha de outra pessoa e usou os números sem conferir nada? O que poderia ter dado errado? Pense nisso por um instante, porque esse hábito é mais comum do que se imagina.

Para ajudar, vou propor um roteiro simples de conferência, que você pode aplicar em qualquer base. Primeiro, olhe o tamanho. Quantos registros existem? Isso bate com o que você esperava? Se a base deveria ter um registro por funcionário e tem mais registros que funcionários, algo está duplicado. Segundo, procure vazios. Quais campos estão em branco e em que quantidade? Terceiro, procure repetições. Existem linhas idênticas? Quarto, observe os extremos. Qual é o menor valor e qual é o maior? Eles fazem sentido? Quinto, confira a padronização. Os nomes, as datas e as unidades seguem o mesmo formato? Sexto, compare com uma fonte conhecida. O total da sua base confere com o total que o financeiro informa?

Esse roteiro leva poucos minutos e evita retrabalho enorme. Faça dele um hábito antes de qualquer análise.

Vamos a um caso curto. Uma analista de logística foi preparar um relatório sobre prazos de entrega. Ao conferir os extremos, notou que algumas entregas tinham prazo negativo, ou seja, chegavam antes de serem pedidas. Em vez de apagar essas linhas, investigou. Descobriu que, em uma das unidades, as pessoas digitavam a data de entrega no campo da data do pedido e vice-versa. Corrigiu os registros, avisou a unidade e orientou o preenchimento. O relatório final ficou correto, e o erro deixou de se repetir. Repare que ela não escondeu o problema nem o resolveu de qualquer jeito. Entendeu a causa e tratou na origem.

Isso nos leva a uma boa prática: sempre que possível, corrija o erro na fonte, e não apenas na sua cópia. Se você limpa os dados toda semana, mas o preenchimento errado continua, o trabalho nunca acaba. Converse com quem registra, proponha campos obrigatórios, listas de opções em vez de texto livre e regras de validação simples.

O erro mais comum, nesta etapa, é apagar o que incomoda. Linhas com problema são removidas sem registro, e o resultado fica diferente da realidade sem que ninguém saiba. Se precisar excluir ou alterar algum dado, anote o que foi feito, quantos registros foram afetados e por quê. Guarde sempre uma cópia da base original, para poder voltar atrás.

Outro cuidado envolve os vazios. Nem sempre é correto preencher um campo em branco com zero ou com a média. Às vezes, o vazio tem um significado, como um cliente que ainda não respondeu uma pesquisa. Preencher com um valor inventado pode distorcer a análise. Quando houver dúvida sobre como tratar um campo, a melhor atitude é perguntar a quem conhece o processo e deixar claro, no relatório, o que foi decidido.

Falemos também da qualidade de forma mais ampla. Dados de boa qualidade são corretos, completos, atualizados, consistentes e compreensíveis. Se alguém novo abrir a base e não entender o que significa cada coluna, falta documentação. Crie um pequeno dicionário de dados, com o nome de cada campo, o que ele representa, em que unidade está e quem preenche. É um trabalho de poucas horas que economiza muita confusão.

E lembre-se de que, em dados sensíveis, como informações de saúde ou financeiras de pessoas, a limpeza deve respeitar as regras de privacidade da empresa. Em caso de dúvida, procure o responsável pela proteção de dados.

Vamos resumir em três ideias. Primeira: dados ruins geram decisões ruins, por isso conferir a qualidade faz parte da análise. Segunda: use um roteiro de conferência com tamanho, vazios, repetições, extremos, padronização e comparação com fonte conhecida. Terceira: nunca apague ou altere dados sem registrar, guarde a base original e corrija o problema na origem sempre que puder.

No próximo capítulo, vamos aprender a transformar dados limpos em indicadores e metas que ajudam a acompanhar o trabalho. Até lá.

Conteúdo educativo e geral. Não substitui normas técnicas, protocolos da instituição, orientação de profissionais habilitados nem formação ou certificação profissional.