CSV 분할은 잘못하기 쉬운 작업입니다. 가장 먼저 떠오르는 split -l 명령은 파일을 일정한 줄 수로 자릅니다. 그러면 헤더가 있는 조각 하나와 헤더가 없는 조각 열아홉 개가 남고, 필드 안에 줄바꿈이 있던 행은 중간에서 잘립니다. 아래 도구들은 이 두 문제를 모두 피하며, 일부는 개수가 아니라 열의 값을 기준으로 나눌 수 있습니다. 원래 원했던 것이 그쪽인 경우도 많습니다.
빠른 답
- N행씩, 각 조각에 헤더 포함:
qsv split -s 100000 out/ big.csv또는mlr --csv split -n 100000 big.csv. - 열의 값마다 파일 하나(지역별, 월별):
mlr --csv split -g region big.csv. - 설치된 도구가 없을 때: 아래의
tail+split반복문. 단, 어떤 필드에도 줄바꿈이 없어야 합니다. - Excel의 행 제한 안으로 줄이려는 것뿐이라면: 나누지 않아도 될 수 있습니다. 이 페이지의 마지막 부분을 보세요.
나누기 전에: 왜 나누나요?
적합한 방법은 조각을 어디에 쓰느냐에 따라 달라집니다.
- 스프레드시트가 파일을 열지 못한다. Excel은 1,048,576행에서 멈춥니다. 나누면 열리지만, 파일 전체에 걸친 질문을 할 때마다 모든 조각이 필요해집니다. 파일 전체를 여는 방법이 보통 더 낫습니다.
- 업로드나 이메일 용량 제한. 크기로 나눕니다. 각 조각에 헤더만 있다면 행 수는 상관없습니다.
- 사람마다 필요한 부분이 다르다. 열을 기준으로 나눕니다. 팀, 고객, 월별로 파일 하나씩입니다. 나누는 것이 분명히 맞는 경우는 이때입니다.
- 한 번에 10,000행씩만 받는 일괄 가져오기. 행 수로 나눕니다.
행 수로 나누기(헤더 유지)
qsv(또는 그 전신인 xsv)는 이 작업을 위해 만든 단일 바이너리입니다.
qsv split -s 100000 out/ big.csv
이렇게 하면 out/0.csv, out/100000.csv 등의 파일이 만들어지고, 각 파일에는 헤더와
최대 100,000개의 데이터 행이 들어갑니다. CSV를 제대로 파싱하므로 줄바꿈이 들어 있는 따옴표 필드도 한 덩어리로 유지됩니다.
Miller도 같은 일을 하며, 파일 이름은 split_1.csv, split_2.csv가 됩니다.
mlr --csv split -n 100000 big.csv
열의 값으로 나누기
이쪽이 더 쓸모가 많고, 일반 split으로는 할 수 없는 분할입니다.
mlr --csv split -g region big.csv
고유한 값마다 split_East.csv, split_West.csv 같은 파일이 생기고, 각 파일에 헤더가 들어갑니다.
두 열로 묶으려면 -g region,year를 사용합니다.
DuckDB는 같은 내용을 값마다 폴더 하나로 씁니다. 전체를 불러오지 않고 스트리밍하므로 아주 큰 파일에 적합합니다.
duckdb -c "COPY (SELECT * FROM 'big.csv') TO 'by_region' (FORMAT csv, PARTITION_BY (region))"
결과는 by_region/region=East/data_0.csv 같은 형태입니다. 파티션 열은 폴더 이름에 들어 있으므로
기본적으로 파일에서는 빠집니다. 남기려면 WRITE_PARTITION_COLUMNS true를 추가하세요.
도구를 설치하지 않고 나누기
Mac이나 Linux에서는 기본 셸 명령으로 가능하지만 조건이 하나 있습니다.
파일의 어떤 필드에도 줄바꿈이 없어야 합니다. CSV를 파싱하는 프로그램으로 파일을 열어 행 수를 확인하고,
wc -l 결과와 비교해 보세요.
tail -n +2 big.csv | split -l 100000 - part_
for f in part_*; do (head -n 1 big.csv; cat "$f") > "$f.csv"; rm "$f"; done
첫 줄은 헤더를 떼어 내고 나머지를 나눕니다. 둘째 줄은 각 조각에 헤더를 다시 붙입니다. 따옴표로 감싼 여러 줄 필드가 있으면 일부 행이 중간에서 잘립니다. 그럴 때는 qsv나 Miller를 사용하세요.
Windows에서는 PowerShell로 아무것도 설치하지 않고 할 수 있지만, 큰 파일은 CSV 전용 도구가 훨씬 빠릅니다. 같은 qsv 명령이 그대로 동작합니다.
Python으로 나누기
import pandas as pd
reader = pd.read_csv("big.csv", chunksize=100_000, dtype=str, keep_default_na=False)
for i, chunk in enumerate(reader):
chunk.to_csv(f"part_{i}.csv", index=False)
추가한 두 인수가 중요합니다. dtype=str이 없으면 pandas가 자료형을 추측해서 00742를 조용히 742로 바꾸고,
긴 ID를 부동소수점으로 바꿉니다. keep_default_na=False가 없으면 텍스트 NA가 빈 셀이 됩니다.
분할 때문에 값이 바뀌어서는 안 됩니다.
목표 크기로 나누기
CSV를 정확히 10 MB에서 자르는 일반적인 도구는 없습니다. 자르는 위치가 행과 행 사이여야 하기 때문입니다. 대신 추정합니다. 파일 크기를 행 수로 나눠 행당 바이트 수를 구한 뒤, 제한 아래에 들어오는 행 수를 고르세요.
900 MB에 3,000,000행인 파일은 행당 약 300바이트이므로, 30,000행이면 조각당 대략 9 MB입니다. 행 길이가 모두 같지는 않으니 여유를 두세요.
결과 확인하기
두 가지 확인으로 분할 관련 버그는 거의 다 잡을 수 있습니다.
- 행 수가 맞는다. 모든 조각의 데이터 행 합계가 원본의 데이터 행 수와 같아야 합니다.
각 조각에
qsv count나mlr --icsv --opprint count를 실행하면 헤더를 뺀 행 수가 나옵니다. - 모든 조각의 헤더가 같고 순서도 같다. 아무 조각 두 개를 열어 첫 줄을 확인하세요.
나중에 다시 합칠 때는 CSV 파일 병합이 반대 작업이며, 반복된 헤더와 관련된 함정이 따로 있습니다.
굳이 나눌 필요가 없었다면
나누려던 이유가 "Excel에서 안 열려서"라면, 조각으로 나누면 이후의 모든 작업이 더 어려워집니다. 1년 치 합계를 내려면 이제 파일 열두 개를 더해야 합니다. 파일 전체를 여는 도구가 보통 더 나은 해결책입니다. 데스크톱에서는 DuckDB나 Power Query이며, 여기서 설명합니다.
휴대폰에서는 행 제한에서 멈추지 않고, 조각을 만들지 않고도 필요한 부분만 골라낼 수 있는 앱이 맞습니다.
iPhone이나 Android에서 파일 전체를 열고 시각적 필터나 SQL로 좁혀 갑니다. 아무것도 나누지 않고 한 지역이나 한 달 치만 읽을 수 있습니다.
기능