mygems

大きなCSVファイルを小さなファイルに分割する方法

split -l はヘッダーを失い、引用符付きの行を途中で切ります。行数や列の値でCSVを分割し、各ファイルにヘッダーを残す方法を紹介します。

執筆: mygems ·

CSVの分割は、やり方を間違えやすい作業です。まず思いつく split -l は、ファイルを指定した行数ずつに切ります。その結果、ヘッダー付きのファイルが1つ、ヘッダーなしが19個できてしまい、フィールド内に改行があった行は途中で切れてしまいます。以下のツールはどちらも避けられます。件数ではなく列の値で分割できるものもあり、もともと欲しかったのはそちらということも多いはずです。

先に結論

  • N行ずつ、各ファイルにヘッダー付きで分割: qsv split -s 100000 out/ big.csv、 または mlr --csv split -n 100000 big.csv。
  • 列の値ごとに1ファイル(地域別、月別など): mlr --csv split -g region big.csv。
  • ツールを入れていない場合: 下の tail + split のループ。ただし、どのフィールドにも改行が含まれていないことが条件です。
  • Excelの行数上限に収めたいだけの場合: 分割しなくて済むかもしれません。 このページの最後を参照してください。

分割する前に:目的は何か

適した方法は、分割したファイルを何に使うかで変わります。

  • 表計算ソフトで開けない。 Excelは1,048,576行で止まります。分割すれば開けますが、 ファイル全体にまたがる集計をするたびに、全部のファイルが必要になります。 ファイル全体を開く方法のほうが、たいていは良い選択です。
  • アップロードやメールの容量制限。 サイズで分割します。各ファイルにヘッダーがあれば、行数は関係ありません。
  • 人によって必要な部分が違う。 列で分割します。チーム別、顧客別、月別に1ファイルずつです。 分割が明確に正解になるのは、このケースです。
  • 一度に10,000行までしか受け付けない一括インポート。 行数で分割します。

行数で分割する(ヘッダーを保持)

qsv(前身はxsv)は、この用途のために作られた単一のバイナリです。

qsv split -s 100000 out/ big.csv

これで out/0.csv、out/100000.csv のように、ヘッダーと最大100,000行のデータを含むファイルが書き出されます。 CSVを正しく解析するので、改行を含む引用符付きのフィールドも1つにまとまったままです。

Millerも同じことができ、ファイル名は split_1.csv、split_2.csv になります。

mlr --csv split -n 100000 big.csv

列の値で分割する

こちらのほうが便利で、普通の split にはできない分割です。

mlr --csv split -g region big.csv

値ごとに split_East.csv、split_West.csv のようなファイルができ、それぞれにヘッダーが付きます。 2つの列でグループ化するには -g region,year とします。

DuckDBは、同じ内容を値ごとのフォルダとして書き出します。全体を読み込まずにストリーム処理するので、 非常に大きなファイル向きです。

duckdb -c "COPY (SELECT * FROM 'big.csv') TO 'by_region' (FORMAT csv, PARTITION_BY (region))"

出力は by_region/region=East/data_0.csv のようになります。パーティションに使った列は、 フォルダ名に入っているため、既定ではファイルに含まれません。残したい場合は WRITE_PARTITION_COLUMNS true を付けます。

ツールを入れずに分割する

MacやLinuxなら、通常のシェルコマンドで可能です。ただし条件が1つあり、 ファイル内のどのフィールドにも改行が含まれていないことが必要です。CSVを解析できるアプリで開き、 行数を wc -l の結果と比べて確認してください。

tail -n +2 big.csv | split -l 100000 - part_
for f in part_*; do (head -n 1 big.csv; cat "$f") > "$f.csv"; rm "$f"; done

1行目でヘッダーを取り除き、残りを分割します。2行目で各ファイルにヘッダーを戻します。 引用符付きで複数行にわたるフィールドがあると、一部の行が途中で切れてしまいます。その場合はqsvかMillerを使ってください。

WindowsではPowerShellで何もインストールせずに分割できますが、大きなファイルではCSV用のツールのほうがはるかに高速です。 同じqsvコマンドがそのまま使えます。

Pythonで分割する

import pandas as pd

reader = pd.read_csv("big.csv", chunksize=100_000, dtype=str, keep_default_na=False)
for i, chunk in enumerate(reader):
    chunk.to_csv(f"part_{i}.csv", index=False)

追加した2つの引数は重要です。dtype=str がないと、pandasは型を推測して 00742 を黙って 742 に変え、 長いIDを浮動小数点数にしてしまいます。keep_default_na=False がないと、文字列の NA が空のセルになります。 分割で値が変わってはいけません。

目標サイズで分割する

CSVをちょうど10 MBで分割する一般的なツールはありません。切れ目は行と行の間でなければならないからです。 代わりに見積もります。ファイルサイズを行数で割って1行あたりのバイト数を出し、上限に収まる行数を選びます。

900 MBで3,000,000行のファイルなら、1行は約300バイトです。30,000行で1ファイルあたり約9 MBになります。 行の長さは均一ではないので、余裕を持たせてください。

結果を確認する

2つの確認で、分割まわりのバグはほぼ見つかります。

  1. 行数が合っている。 すべてのファイルのデータ行の合計が、元ファイルのデータ行と一致します。 各ファイルで qsv count か mlr --icsv --opprint count を実行すると、ヘッダーを除いた行数が分かります。
  2. どのファイルも同じヘッダーで、並び順も同じ。 適当に2つ開いて、1行目を見てください。

あとで元に戻すときは、CSVファイルを結合するのが逆の操作になります。 こちらにも、ヘッダーの重複をめぐる落とし穴があります。

分割が不要だった場合

分割の理由が「Excelで開けないから」なら、ファイルを分けるとその後の作業が面倒になります。 年間の合計を出すだけでも、12個のファイルを足し合わせることになるからです。 ファイル全体を開けるツールを使うほうが、たいていは良い解決策です。パソコンならDuckDBかPower Queryです。 こちらで解説しています。

スマートフォンなら、行数の上限で止まらず、ファイルを分割せずに必要な部分まで絞り込めるアプリが向いています。

CSV File Viewer - Smart CSViPhone・iPad · Android

iPhoneやAndroidでファイル全体を開き、ビジュアルフィルターやSQLで絞り込めます。分割しなくても、1つの地域や1か月分だけを読めます。

できること

よくある質問

大きなCSVファイルを小さなファイルに分割するには?
ヘッダーを各ファイルにコピーしてくれる、CSV対応のツールを使います。qsv split -s 100000 out/ big.csv、または mlr --csv split -n 100000 big.csv です。普通の split -l は、ヘッダーを自分で戻し、フィールド内に改行がない場合にしか使えません。
CSVを分割して、各ファイルにヘッダーを残すには?
qsv split と Miller の split は、ヘッダーを自動で繰り返します。標準のシェルツールなら、tail -n +2 でヘッダーを取り除き、残りを分割してから、元ファイルの1行目を各ファイルの先頭に付け直します。
CSVを列の値ごとに分割できますか?
できます。mlr --csv split -g region big.csv は、region 列の値ごとに1ファイルを書き出します。DuckDBの COPY と PARTITION_BY でも、値ごとのフォルダに同じ結果が得られます。
CSVを分割したら、壊れた行があるのはなぜですか?
引用符内のフィールドに改行が含まれていて、split -l のような行単位のツールが行を2つに切ったためです。qsv や Miller のようにCSVを解析するツールを使えば、引用符内の改行も同じ行に収まります。
ExcelはCSVから何行まで開けますか?
ワークシートごとに、ヘッダーを含めて1,048,576行です。それを超える行は読み込まれません。ファイルを分割すれば開けますが、この上限のないツールで開くほうが、たいていは使いやすくなります。

mygems — CSV EditorとSmart CSV Viewerを開発しています。表計算ソフトが大きなファイルで音を上げるために生まれたアプリです。