1

Como analisar um CSV em poucos cliques, sem Excel e sem Python

Todo mundo já recebeu um vendas.csv com a pergunta "quanto vendeu por estado?". O caminho de sempre é abrir no Excel (que trava com arquivo grande e estraga datas e zeros à esquerda) ou subir um notebook com pandas só para três contas.

Neste tutorial mostro um fluxo que uso no dia a dia. Por baixo de tudo está o DuckDB, um banco analítico que lê CSV direto do disco sem importar nada. Uso como exemplo o LightNote, um editor que eu fiz e que tem o DuckDB embutido. No fim deixo o equivalente em SQL puro, para quem quiser fazer só com o DuckDB.

Arquivo de exemplo: vendas.csv, com as colunas pedido, cliente, uf, valor, desconto, cep e canal.

1. Abrir como tabela (1 clique)

No explorador de arquivos do app, clique com o botão direito no vendas.csv e escolha Abrir como tabela.

O arquivo não é carregado inteiro na memória. O DuckDB lê sob demanda, e ordenar (clique no cabeçalho) e filtrar (Ctrl+F) rodam no próprio motor. É por isso que um CSV de milhões de linhas abre como um de cem.

Armadilha comum: se a tabela vier com uma coluna só, com a linha inteira dentro dela, o separador não foi reconhecido. Quase sempre a causa são linhas com número de colunas diferente. O app mostra uma faixa dizendo quantas colunas o arquivo parece ter e oferece a leitura tolerante, que lê linha a linha sem exigir colunas iguais.

2. Olhar antes de somar (1 clique)

O erro mais caro em análise não é o gráfico feio, é somar um dado sujo. Antes de qualquer conta, clique em Qualidade. Ele mostra um cartão por coluna:

Qualidade

Repare no que ele achou sem eu pedir nada:

  • pedido pode ser uma chave: todo valor aparece uma vez só;
  • cliente tem vazios E nulos, contados separado: 12% vazio e 10% nulo. Texto vazio não é nulo, e um WHERE cliente IS NULL pega só uma parte do problema;
  • padrões de formato: cada letra vira A e cada algarismo vira N. Cliente 1 vira AAAAAAA N, e o uf inteiro é AA.

O padrão é o meu truque favorito. Numa coluna de datas ou de códigos há quase tantos valores distintos quanto linhas, e agrupar por eles não diz nada. Agrupar pelo padrão reduz milhões de linhas a dois ou três formatos, e o que foge deles é exatamente o dado sujo: a data que veio 10-10-2026, o código sem o prefixo.

Mais abaixo no painel aparecem os alertas das outras colunas: o desconto é número guardado como texto (1,1, com vírgula), e o valor tem discrepantes pela cerca de Tukey (1,5 × IQR), a mesma regra do boxplot. Guarde esse último, ele volta no passo 5.

Clicar num valor frequente do painel filtra a tabela por ele.

3. Perguntar com SQL (opcional)

No topo da tabela há uma barra de SQL livre. O arquivo aberto aparece como uma view chamada t:

SELECT uf, count(*) AS pedidos, sum(valor) AS total
FROM t
GROUP BY uf
ORDER BY total DESC;

4. Gráfico (2 cliques)

Na barra da tabela, clique em Gráfico, escolha o tipo, a coluna do eixo X e o que somar ou contar. A agregação roda no DuckDB e só o resultado já reduzido chega à tela.

Grafico

Clicar numa fatia ou numa barra filtra a tabela por ela. O filtro vira uma etiqueta com um X para tirá-lo, e as etiquetas se somam. Aqui, por exemplo, eu quis ver só os pedidos sem cliente e com valor entre 40 e 200:

Seleção e Tabela Dinâmica

5. Tabela dinâmica: o "pivô" do Excel

Ao lado do Gráfico fica a Tabela dinâmica. No print acima ela está com uf em Linhas e Soma de valor, e em Mostrar como escolhi "% do total geral". Ela acompanha o filtro: são os 6 pedidos que sobraram, não os 40.

Dois detalhes que muita ferramenta erra:

  • Média nos totais: o total da média é ponderado, não a média das médias. A média das médias só bate quando todos os grupos têm o mesmo tamanho.
  • Contagem distinta não soma: os clientes distintos de SP mais os do RJ não dão os clientes distintos do total, porque o mesmo cliente pode estar nos dois. Por isso essa opção não mostra total.

Para juntar vários gráficos e tabelas, clique em Análise. Ela é uma prancheta onde cabem quantos cartões você quiser sobre o mesmo arquivo:

Área de Análise

Aqui volta o alerta do passo 2. O RJ e o RS parecem vender quase tanto quanto SP, mas olhe a linha embaixo do gráfico: média 2.078, mediana 211. Quando a média é dez vezes a mediana, poucos valores enormes estão puxando a conta. Neste arquivo são três pedidos de 25 mil no meio de pedidos de 100 a 300. A soma por estado está certa, só que conta uma história que não é a do dia a dia. Por isso o passo 2 vem antes.

6. Levar o resultado para onde ele vai ser lido

  • Adicionar à nota do dia: o gráfico vai como um bloco Mermaid, que continua editável como texto, e a tabela dinâmica vai como tabela Markdown.
  • Copiar relatório: junta a análise inteira em Markdown, com a fonte, o filtro e a data, pronta para colar num PR, numa wiki ou no Teams.

A análise fica salva num JSON ao lado do dado (vendas.csv → vendas.csv.analise.json). Ele vai para o Git junto com o CSV, e um colega que abrir o arquivo vê os mesmos gráficos.

Sem o LightNote: o mesmo com o DuckDB puro

Tudo isso é DuckDB por baixo. Com o CLI do DuckDB instalado:

-- perfil de todas as colunas (tipos, nulos, mínimo, máximo, quartis)
SUMMARIZE SELECT * FROM 'vendas.csv';

-- total por estado, com a mediana ao lado para pegar o discrepante
SELECT uf, sum(valor) AS total, avg(valor) AS media, median(valor) AS mediana
FROM 'vendas.csv'
GROUP BY uf
ORDER BY total DESC;

-- pivô estado × canal
PIVOT 'vendas.csv' ON canal USING sum(valor) GROUP BY uf;

-- o truque do padrão: quais formatos de CEP existem?
SELECT regexp_replace(regexp_replace(cep, '[0-9]', 'N', 'g'), '[A-Za-z]', 'A', 'g') AS padrao,
       count(*) AS linhas
FROM read_csv('vendas.csv', all_varchar = true)
GROUP BY padrao
ORDER BY linhas DESC;

O all_varchar = true é proposital: sem ele, o DuckDB lê o CEP como número, o 01017 vira 1017, e o formato que você queria conferir some antes da conferência.


O LightNote é gratuito, inclusive para uso comercial, e roda no Windows e no Linux: https://lightnote.com.br

Se você tem um fluxo diferente para "CSV que chegou agora", conta aí nos comentários. Quero saber o que eu estou deixando de fora.

Carregando publicação patrocinada...