mygems

Como dividir um arquivo CSV grande em arquivos menores

O split -l perde o cabeçalho e corta linhas entre aspas. Veja como dividir um CSV por número de linhas ou por valor de coluna, com cabeçalho em cada pedaço.

Por mygems ·

Dividir um CSV é fácil de fazer mal. O comando óbvio, split -l, corta o arquivo em pedaços de tantas linhas e deixa você com um pedaço que tem cabeçalho e dezenove que não têm, além de algumas linhas partidas ao meio onde um campo continha uma quebra de linha. As ferramentas abaixo evitam as duas coisas, e algumas dividem pelo valor de uma coluna em vez de pela quantidade, que muitas vezes era o que você queria desde o início.

A resposta rápida

  • Em pedaços de N linhas, com o cabeçalho em cada um: qsv split -s 100000 out/ big.csv, ou mlr --csv split -n 100000 big.csv.
  • Um arquivo por valor de uma coluna (por região, por mês): mlr --csv split -g region big.csv.
  • Sem ferramentas instaladas: o laço com tail + split mais abaixo, desde que nenhum campo contenha uma quebra de linha.
  • Só para ficar abaixo do limite do Excel: talvez você nem precise dividir. Veja o final desta página.

Antes de dividir: para quê?

O método certo depende de para que os pedaços vão servir.

  • Uma planilha não abre o arquivo. O Excel para em 1.048.576 linhas. Dividir funciona, mas toda pergunta que abrange o arquivo inteiro agora precisa de todos os pedaços. Abrir o arquivo inteiro costuma ser melhor.
  • Um limite de upload ou de e-mail. Divida por tamanho. As linhas não importam, desde que cada pedaço tenha cabeçalho.
  • Pessoas diferentes precisam de partes diferentes. Divida por uma coluna: um arquivo por equipe, cliente ou mês. Esse é o caso em que dividir é claramente a escolha certa.
  • Uma importação em lote que aceita 10.000 linhas por vez. Divida por quantidade.

Dividir por número de linhas, mantendo o cabeçalho

O qsv (ou seu antecessor xsv) é um único binário feito para isso:

qsv split -s 100000 out/ big.csv

Isso grava out/0.csv, out/100000.csv e assim por diante, cada um com o cabeçalho e até 100.000 linhas de dados. Ele interpreta o CSV corretamente, então um campo entre aspas que contém uma quebra de linha fica em um único pedaço.

O Miller faz o mesmo e nomeia os arquivos split_1.csv, split_2.csv:

mlr --csv split -n 100000 big.csv

Dividir pelo valor de uma coluna

Essa é a divisão mais útil, e a que o split simples não consegue fazer:

mlr --csv split -g region big.csv

Você obtém split_East.csv, split_West.csv e assim por diante, um por valor distinto, cada um com o cabeçalho. Para agrupar por duas colunas, use -g region,year.

O DuckDB grava o mesmo resultado como uma pasta por valor, o que serve bem para arquivos muito grandes, porque processa em fluxo em vez de carregar tudo:

duckdb -c "COPY (SELECT * FROM 'big.csv') TO 'by_region' (FORMAT csv, PARTITION_BY (region))"

A saída é by_region/region=East/data_0.csv e assim por diante. Observe que a coluna de partição fica de fora dos arquivos por padrão, já que está no nome da pasta; adicione WRITE_PARTITION_COLUMNS true para mantê-la.

Sem nenhuma ferramenta instalada

Em um Mac ou Linux, comandos comuns de shell resolvem, com uma condição: nenhum campo do arquivo pode conter uma quebra de linha. Confira abrindo o arquivo em algo que interprete CSV e comparando a contagem de linhas com wc -l.

tail -n +2 big.csv | split -l 100000 - part_
for f in part_*; do (head -n 1 big.csv; cat "$f") > "$f.csv"; rm "$f"; done

A primeira linha tira o cabeçalho e divide o resto. A segunda devolve o cabeçalho a cada pedaço. Se suas linhas têm campos entre aspas com várias linhas, isso vai cortar algumas ao meio: use qsv ou Miller.

No Windows, o PowerShell consegue fazer isso sem instalar nada, mas para um arquivo grande uma ferramenta de CSV é muito mais rápida. O mesmo comando do qsv funciona lá.

Em Python

import pandas as pd

reader = pd.read_csv("big.csv", chunksize=100_000, dtype=str, keep_default_na=False)
for i, chunk in enumerate(reader):
    chunk.to_csv(f"part_{i}.csv", index=False)

Os dois argumentos extras importam. Sem dtype=str, o pandas adivinha os tipos e transforma 00742 em 742 sem avisar, e IDs longos em números decimais; sem keep_default_na=False, o texto NA vira uma célula vazia. Dividir nunca deveria alterar um valor.

Dividir para um tamanho-alvo

Nenhuma ferramenta comum divide um CSV em exatamente 10 MB, porque o corte precisa cair entre linhas. Estime em vez disso: divida o tamanho do arquivo pelo número de linhas para obter os bytes por linha e depois escolha um número de linhas que fique abaixo do limite.

Um arquivo de 900 MB com 3.000.000 de linhas tem cerca de 300 bytes por linha, então 30.000 linhas dão aproximadamente 9 MB por pedaço. Deixe uma margem: as linhas não têm todas o mesmo tamanho.

Confira o resultado

Duas conferências pegam quase todos os erros de divisão:

  1. As linhas batem. As linhas de dados de todos os pedaços somam as do original. qsv count ou mlr --icsv --opprint count em cada um dá o número sem o cabeçalho.
  2. Todo pedaço tem o mesmo cabeçalho, na mesma ordem. Abra dois pedaços ao acaso e olhe a primeira linha.

Para juntá-los de volta depois, mesclar arquivos CSV é a operação inversa, e tem suas próprias armadilhas com cabeçalhos repetidos.

Quando você não precisava dividir

Se o motivo era "o Excel não abre", os pedaços vão tornar todas as perguntas seguintes mais difíceis: um total do ano agora significa somar doze arquivos. Uma ferramenta que abre o arquivo inteiro costuma ser a melhor solução. No computador, isso quer dizer DuckDB ou Power Query, como explicado aqui.

No celular, quer dizer um app que não pare em um limite de linhas e que permita reduzir o arquivo à parte de que você precisa, sem gerar pedaços.

CSV File Viewer - Smart CSViPhone e iPad · Android

Abre o arquivo inteiro no iPhone ou Android e depois filtra com um filtro visual ou SQL, para você ler uma região ou um mês sem dividir nada.

O que ele faz

Perguntas

Como divido um arquivo CSV grande em arquivos menores?
Use uma ferramenta que entenda CSV e copie o cabeçalho para cada pedaço: qsv split -s 100000 out/ big.csv, ou mlr --csv split -n 100000 big.csv. O split -l simples só funciona se você recolocar o cabeçalho por conta própria e nenhum campo tiver quebra de linha.
Como divido um CSV e mantenho o cabeçalho em cada arquivo?
O qsv split e o verbo split do Miller repetem o cabeçalho automaticamente. Com ferramentas simples de shell, tire o cabeçalho com tail -n +2, divida o resto e depois coloque a primeira linha do original na frente de cada pedaço.
Posso dividir um CSV pelos valores de uma coluna?
Sim. mlr --csv split -g region big.csv grava um arquivo por valor distinto da coluna region. O COPY do DuckDB com PARTITION_BY faz o mesmo, em uma pasta por valor.
Por que algumas linhas ficam quebradas depois de dividir meu CSV?
Um campo continha uma quebra de linha entre aspas, e uma ferramenta baseada em linhas, como o split -l, cortou a linha em duas. Use uma ferramenta que interprete CSV, como qsv ou Miller, para que as quebras de linha entre aspas fiquem dentro da própria linha.
Quantas linhas o Excel consegue abrir de um CSV?
1.048.576 linhas, incluindo o cabeçalho, por planilha. As linhas além disso não são carregadas. Dividir o arquivo funciona, mas abri-lo em uma ferramenta sem esse limite costuma ser mais útil.

mygems — Cria o CSV Editor e o Smart CSV Viewer, dois apps que existem porque as planilhas desistem de arquivos grandes.