指定された行数に従ってCSVファイルを分割する方法は？

LINUXサーバーにCSVファイル（約10,000行、各行に300列）を保存しました。このCSVファイルをそれぞれ20レコードの500のCSVファイルに分割したいと思います。（それぞれが元のCSVに存在するものと同じCSVヘッダーを持っています）

この変換を支援するLinuxコマンドはありますか？

関数にしました。今すぐ電話できますsplitCsv <Filename> [chunkSize]

splitCsv() {
    HEADER=$(head -1 $1)
    if [ -n "$2" ]; then
        CHUNK=$2
    else 
        CHUNK=1000
    fi
    tail -n +2 $1 | split -l $CHUNK - $1_split_
    for i in $1_split_*; do
        sed -i -e "1i$HEADER" "$i"
    done
}

見つかった場所：http：//edmondscommerce.github.io/linux/linux-split-file-eg-csv-and-keep-header-row.html

Linuxのsplitコマンドを使用します。

split -l 20 file.txt new    

ファイル「file.txt」を「new」という名前で始まるファイルに分割します。各ファイルには、それぞれ20行のテキストが含まれています。

入力man splitの詳細については、UNIXプロンプトで。ただし、最初にfile.txtからヘッダーを削除してから（tailたとえば、コマンドを使用して）、分割された各ファイルにヘッダーを追加し直す必要があります。

これはうまくいくはずです!!!

file_name=分割するファイルの名前。
10000=各分割ファイルに含まれる行数
file_part_=分割ファイル名のプレフィックス（file_part_0、file_part_1、file_part_2..etcが続きます）

split -d -l 10000 file_name.csv file_part_

これでうまくいくはずです。すべてのファイルはPart1-Part500と呼ばれることになります。

#!/bin/bash
FILENAME=10000.csv
HDR=$(head -1 $FILENAME)   # Pick up CSV header line to apply to each file
split -l 20 $FILENAME xyz  # Split the file into chunks of 20 lines each
n=1
for f in xyz*              # Go through all newly created chunks
do
   echo $HDR > Part${n}    # Write out header to new file called "Part(n)"
   cat $f >> Part${n}      # Add in the 20 lines from the "split" command
   rm $f                   # Remove temporary file
   ((n++))                 # Increment name of output part
done

ワンライナーの答えがあります（この例では、999行のデータとファイルごとに1つのヘッダー行があります）

cat bigFile.csv | parallel --header : --pipe -N999 'cat >file_{#}.csv'

https://stackoverflow.com/a/53062251/401226