Découper un CSV, c'est facile à mal faire. La commande évidente, split -l, coupe le fichier en morceaux d'autant de lignes, et vous laisse un morceau avec en-tête et dix-neuf sans, plus quelques lignes coupées en deux là où un champ contenait un saut de ligne. Les outils ci-dessous évitent les deux, et certains découpent selon la valeur d'une colonne plutôt qu'au nombre de lignes, ce qui est souvent ce que vous vouliez au départ.
La réponse rapide
- En morceaux de N lignes, avec l'en-tête dans chacun :
qsv split -s 100000 out/ big.csv, oumlr --csv split -n 100000 big.csv. - Un fichier par valeur d'une colonne (par région, par mois) :
mlr --csv split -g region big.csv. - Aucun outil installé : la boucle
tail+splitplus bas, tant qu'aucun champ ne contient de saut de ligne. - Seulement pour passer sous la limite d'Excel : vous n'avez peut-être pas besoin de découper. Voir la fin de cette page.
Avant de découper : pourquoi ?
La bonne méthode dépend de l'usage des morceaux.
- Un tableur n'ouvre pas le fichier. Excel s'arrête à 1 048 576 lignes. Découper fonctionne, mais chaque question portant sur l'ensemble du fichier demande désormais tous les morceaux. Ouvrir le fichier entier est en général préférable.
- Une limite d'envoi ou d'e-mail. Découpez par taille. Les lignes importent peu, tant que chaque morceau a un en-tête.
- Des personnes différentes ont besoin de parties différentes. Découpez par colonne : un fichier par équipe, client ou mois. C'est le cas où découper est clairement la bonne solution.
- Un import par lots qui accepte 10 000 lignes à la fois. Découpez par nombre de lignes.
Découper par nombre de lignes, en gardant l'en-tête
qsv (ou son prédécesseur xsv) est un binaire unique conçu pour ça :
qsv split -s 100000 out/ big.csv
Cela écrit out/0.csv, out/100000.csv, etc., chacun avec l'en-tête
et jusqu'à 100 000 lignes de données. Il analyse correctement le CSV : un champ entre guillemets
contenant un saut de ligne reste d'un seul tenant.
Miller fait pareil, et nomme les fichiers split_1.csv, split_2.csv :
mlr --csv split -n 100000 big.csv
Découper selon la valeur d'une colonne
C'est le découpage le plus utile, et celui que le simple split ne sait pas faire :
mlr --csv split -g region big.csv
Vous obtenez split_East.csv, split_West.csv, etc., un par valeur distincte,
chacun avec l'en-tête. Pour grouper selon deux colonnes, utilisez -g region,year.
DuckDB écrit la même chose sous forme d'un dossier par valeur, ce qui convient aux très gros fichiers puisqu'il traite en flux au lieu de tout charger :
duckdb -c "COPY (SELECT * FROM 'big.csv') TO 'by_region' (FORMAT csv, PARTITION_BY (region))"
Le résultat est by_region/region=East/data_0.csv, etc. Notez que la colonne de
partition est omise des fichiers par défaut, puisqu'elle figure dans le nom du dossier ;
ajoutez WRITE_PARTITION_COLUMNS true pour la garder.
Sans aucun outil installé
Sur Mac ou Linux, de simples commandes shell suffisent, à une condition :
aucun champ du fichier ne doit contenir de saut de ligne. Vérifiez en l'ouvrant dans
un outil qui analyse le CSV et en comparant le nombre de lignes avec wc -l.
tail -n +2 big.csv | split -l 100000 - part_
for f in part_*; do (head -n 1 big.csv; cat "$f") > "$f.csv"; rm "$f"; done
La première ligne retire l'en-tête et découpe le reste. La seconde remet l'en-tête sur chaque morceau. Si vos lignes ont des champs entre guillemets sur plusieurs lignes, certaines seront coupées en deux : utilisez qsv ou Miller.
Sous Windows, PowerShell peut le faire sans rien installer, mais pour un gros fichier un outil CSV est bien plus rapide. La même commande qsv y fonctionne.
En Python
import pandas as pd
reader = pd.read_csv("big.csv", chunksize=100_000, dtype=str, keep_default_na=False)
for i, chunk in enumerate(reader):
chunk.to_csv(f"part_{i}.csv", index=False)
Les deux arguments supplémentaires comptent. Sans dtype=str, pandas devine les types et
transforme discrètement 00742 en 742 et les longs identifiants en flottants ; sans
keep_default_na=False, le texte NA devient une cellule vide. Un découpage ne doit
jamais modifier une valeur.
Découper selon une taille cible
Aucun outil courant ne découpe un CSV à exactement 10 Mo, car la coupe doit tomber entre deux lignes. Estimez plutôt : divisez la taille du fichier par le nombre de lignes pour obtenir les octets par ligne, puis choisissez un nombre de lignes qui reste sous la limite.
Un fichier de 900 Mo avec 3 000 000 lignes fait environ 300 octets par ligne, donc 30 000 lignes font à peu près 9 Mo par morceau. Gardez une marge : les lignes n'ont pas toutes la même longueur.
Vérifier le résultat
Deux vérifications détectent presque tous les bugs de découpage :
- Les lignes se retrouvent. Les lignes de données de tous les morceaux égalent celles
de l'original.
qsv countoumlr --icsv --opprint countsur chacun donne le nombre sans l'en-tête. - Chaque morceau a le même en-tête, dans le même ordre. Ouvrez deux morceaux au hasard et regardez la première ligne.
Pour les rassembler plus tard, fusionner des fichiers CSV est l'opération inverse, et elle a ses propres pièges avec les en-têtes répétés.
Quand vous n'aviez pas besoin de découper
Si la raison était « Excel n'ouvre pas le fichier », les morceaux compliqueront chaque question ultérieure : un total sur l'année, c'est maintenant additionner douze fichiers. Un outil qui ouvre le fichier entier est en général la meilleure solution. Sur ordinateur, c'est DuckDB ou Power Query, comme expliqué ici.
Sur téléphone, c'est une appli qui ne s'arrête pas à une limite de lignes, et qui vous permet de réduire le fichier à la partie dont vous avez besoin, sans produire de morceaux.
Ouvre le fichier entier sur iPhone ou Android, puis le filtre avec un filtre visuel ou en SQL, pour lire une région ou un mois sans rien découper.
Ce que ça fait