CSVの重複行を削除
行を特定する列として指定したものだけで、重複を判定。
- 選んだ列で照合
- 削除前にプレビュー
- 最初・最後を選んで残す
- アップロードなし
1.ファイルを開く
CSVまたはTSV。ここにドラッグするか、ファイルを選択してください。
作った理由
「重複」とは、ほとんどの場合、すべての項目が同一という意味ではありません。同じ顧客、同じ注文なのに、タイムスタンプだけが違う2つの行のことです。そこでこのツールは、何かを削除する前に、レコードを特定する列を尋ね、削除される行を見せ、各グループの最初と最後のどちらを残すかを選べるようにしています。
できること
- 行全体、またはキーとして選んだ列だけで重複を判定します。
- 何かを削除する前に、重複の件数を数え、グループの例を表示します。
- 各グループの最初の行と最後の行のどちらを残すか、選べます。
- 重複を削除したファイルをダウンロードでき、何行が削除されたかも正確に表示します。
「同じ」とみなす基準について
照合は完全一致で、大文字と小文字を区別し、ファイルに書かれた値のまま比較します。末尾のスペースだけが違う2つの行は、別の行です。それが望ましくない場合は、重複削除の中ではなく、その前の段階で直す必要があります。
よくある質問
- 1つの列だけで重複を削除できますか?
- はい。むしろそれが一般的な使い方です。メールアドレスや注文IDなど、レコードを特定する列(複数可)を選ぶと、その値が同じ行は1つとして扱われます。
- どの重複が残りますか?
- 各グループの最初か最後のうち、選んだほうです。「最初」はファイル内で最も早い行を残し、「最後」は最新の行を残します。あとの行が更新である場合は、通常「最後」が目的に合います。
- 大文字と小文字は区別されますか?
- はい。値はファイルに書かれたとおりに比較されるので、`Ann@example.com`と`ann@example.com`は別の値です。
詳しい説明
作業はこのページで完了します。ガイドでは、ツールでは判断できない部分も含めて解説しています。
CSVファイルの重複行を削除する方法重複の多くは同じ人の2件のレコードで、片方が新しい。見つけ方と、正しい行の残し方を解説します。ほかのツール
- CSVファイルをブラウザで開くファイルを入れるだけ。ここで開き、ここから出ません。開く
- CSVファイルにSQLを実行データベースを入れずに、ファイルへ本物のSQLを。開く
- 複数のCSVファイルを1つに結合複数のファイルを入れて、1つのファイルを出力。列は名前で照合。開く
- 2つのCSVファイルを比較追加・削除・変更を、行単位ではなくキーで照合。開く
- CSVをPDFに変換CSVを読みやすい表にレイアウトして、PDFで保存。開く
- CSVをExcelに変換途中で何も変わらない、本物の.xlsxに。開く
- CSVをJSONに変換1行が1オブジェクト、見出しがキーに。開く
- JSONをCSVに変換ツリー構造を、どこでも開ける表に。開く
- ExcelをCSVに変換ブックのすべてのシートを、きれいなUTF-8のCSVに。開く
- CSVファイルを分割大きすぎて使えない1つのファイルを、使いやすい複数に。開く
- 乱れたCSVをクリーンアップGermany、germany、「Germany 」が、再び1つの値に。開く
- CSVをSQLのINSERT文に変換CSVを入れれば、どのデータベースでも実行できる.sqlスクリプトに。開く
- JSONを整形・検証する正しいJSONは見やすく整形。壊れたJSONは場所を示し、ほぼ自動で修正。開く
- JSONをツリーやグラフで表示する1行も読まないうちに、JSONの構造がわかる。開く
- Markdownのアウトラインをマインドマップにするリストを書くだけで、マップになる。開く
- 30日チャレンジ表を作って印刷する1つの習慣に30マス。目に入る場所の、紙の上で。開く
- 動画を逆再生にする音声ごと逆再生。アップロードは不要です。開く