Dividir um CSV é fácil de fazer mal. O comando óbvio, split -l, corta o arquivo em pedaços de tantas linhas e deixa você com um pedaço que tem cabeçalho e dezenove que não têm, além de algumas linhas partidas ao meio onde um campo continha uma quebra de linha. As ferramentas abaixo evitam as duas coisas, e algumas dividem pelo valor de uma coluna em vez de pela quantidade, que muitas vezes era o que você queria desde o início.
A resposta rápida
- Em pedaços de N linhas, com o cabeçalho em cada um:
qsv split -s 100000 out/ big.csv, oumlr --csv split -n 100000 big.csv. - Um arquivo por valor de uma coluna (por região, por mês):
mlr --csv split -g region big.csv. - Sem ferramentas instaladas: o laço com
tail+splitmais abaixo, desde que nenhum campo contenha uma quebra de linha. - Só para ficar abaixo do limite do Excel: talvez você nem precise dividir. Veja o final desta página.
Antes de dividir: para quê?
O método certo depende de para que os pedaços vão servir.
- Uma planilha não abre o arquivo. O Excel para em 1.048.576 linhas. Dividir funciona, mas toda pergunta que abrange o arquivo inteiro agora precisa de todos os pedaços. Abrir o arquivo inteiro costuma ser melhor.
- Um limite de upload ou de e-mail. Divida por tamanho. As linhas não importam, desde que cada pedaço tenha cabeçalho.
- Pessoas diferentes precisam de partes diferentes. Divida por uma coluna: um arquivo por equipe, cliente ou mês. Esse é o caso em que dividir é claramente a escolha certa.
- Uma importação em lote que aceita 10.000 linhas por vez. Divida por quantidade.
Dividir por número de linhas, mantendo o cabeçalho
O qsv (ou seu antecessor xsv) é um único binário feito para isso:
qsv split -s 100000 out/ big.csv
Isso grava out/0.csv, out/100000.csv e assim por diante, cada um com o cabeçalho
e até 100.000 linhas de dados. Ele interpreta o CSV corretamente, então um campo entre aspas
que contém uma quebra de linha fica em um único pedaço.
O Miller faz o mesmo e nomeia os arquivos split_1.csv, split_2.csv:
mlr --csv split -n 100000 big.csv
Dividir pelo valor de uma coluna
Essa é a divisão mais útil, e a que o split simples não consegue fazer:
mlr --csv split -g region big.csv
Você obtém split_East.csv, split_West.csv e assim por diante, um por valor distinto,
cada um com o cabeçalho. Para agrupar por duas colunas, use -g region,year.
O DuckDB grava o mesmo resultado como uma pasta por valor, o que serve bem para arquivos muito grandes, porque processa em fluxo em vez de carregar tudo:
duckdb -c "COPY (SELECT * FROM 'big.csv') TO 'by_region' (FORMAT csv, PARTITION_BY (region))"
A saída é by_region/region=East/data_0.csv e assim por diante. Observe que a coluna de
partição fica de fora dos arquivos por padrão, já que está no nome da pasta;
adicione WRITE_PARTITION_COLUMNS true para mantê-la.
Sem nenhuma ferramenta instalada
Em um Mac ou Linux, comandos comuns de shell resolvem, com uma condição:
nenhum campo do arquivo pode conter uma quebra de linha. Confira abrindo o arquivo em
algo que interprete CSV e comparando a contagem de linhas com wc -l.
tail -n +2 big.csv | split -l 100000 - part_
for f in part_*; do (head -n 1 big.csv; cat "$f") > "$f.csv"; rm "$f"; done
A primeira linha tira o cabeçalho e divide o resto. A segunda devolve o cabeçalho a cada pedaço. Se suas linhas têm campos entre aspas com várias linhas, isso vai cortar algumas ao meio: use qsv ou Miller.
No Windows, o PowerShell consegue fazer isso sem instalar nada, mas para um arquivo grande uma ferramenta de CSV é muito mais rápida. O mesmo comando do qsv funciona lá.
Em Python
import pandas as pd
reader = pd.read_csv("big.csv", chunksize=100_000, dtype=str, keep_default_na=False)
for i, chunk in enumerate(reader):
chunk.to_csv(f"part_{i}.csv", index=False)
Os dois argumentos extras importam. Sem dtype=str, o pandas adivinha os tipos e
transforma 00742 em 742 sem avisar, e IDs longos em números decimais; sem
keep_default_na=False, o texto NA vira uma célula vazia. Dividir nunca
deveria alterar um valor.
Dividir para um tamanho-alvo
Nenhuma ferramenta comum divide um CSV em exatamente 10 MB, porque o corte precisa cair entre linhas. Estime em vez disso: divida o tamanho do arquivo pelo número de linhas para obter os bytes por linha e depois escolha um número de linhas que fique abaixo do limite.
Um arquivo de 900 MB com 3.000.000 de linhas tem cerca de 300 bytes por linha, então 30.000 linhas dão aproximadamente 9 MB por pedaço. Deixe uma margem: as linhas não têm todas o mesmo tamanho.
Confira o resultado
Duas conferências pegam quase todos os erros de divisão:
- As linhas batem. As linhas de dados de todos os pedaços somam as do
original.
qsv countoumlr --icsv --opprint countem cada um dá o número sem o cabeçalho. - Todo pedaço tem o mesmo cabeçalho, na mesma ordem. Abra dois pedaços ao acaso e olhe a primeira linha.
Para juntá-los de volta depois, mesclar arquivos CSV é a operação inversa, e tem suas próprias armadilhas com cabeçalhos repetidos.
Quando você não precisava dividir
Se o motivo era "o Excel não abre", os pedaços vão tornar todas as perguntas seguintes mais difíceis: um total do ano agora significa somar doze arquivos. Uma ferramenta que abre o arquivo inteiro costuma ser a melhor solução. No computador, isso quer dizer DuckDB ou Power Query, como explicado aqui.
No celular, quer dizer um app que não pare em um limite de linhas e que permita reduzir o arquivo à parte de que você precisa, sem gerar pedaços.
Abre o arquivo inteiro no iPhone ou Android e depois filtra com um filtro visual ou SQL, para você ler uma região ou um mês sem dividir nada.
O que ele faz