テキストファイルから文字列を分割する高速な方法？

string.txtとlengths.txtの2つのテキストファイルがあります。

String.txt：

abcdefghijklmnopqrstuvwxyz

lengths.txt

5
4
10
7

ファイルを入手したい

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

私は約28,000のエントリで作業しており、それらは200から56,000文字の間で異なります。

現在、私は使用しています：

start=1
end=0
i=0
while read read_l
do
    let i=i+1
    let end=end+read_l
    echo -e ">Entry_$i" >>outfile.txt
    echo "$(cut -c$start-$end String.txt)" >>outfile.txt
    let start=start+read_l
    echo $i
done <lengths.txt

しかし、それは非常に非効率的です。より良いアイデアはありますか？

できるよ

{
  while read l<&3; do
    {
      head -c"$l"
      echo
    } 3<&-
  done 3<lengths.txt
} <String.txt

説明が必要です：

主なアイデアは使用することで{ head ; } <fileあり、過小評価されている@mikeservの回答から導き出されます。ただし、この場合は多数headのを使用する必要whileがあるためhead、両方のファイルから入力に渡すためにループを導入し、ファイル記述子を少し調整します（String.txt処理するメインファイルとしてのファイルlength.txtと-cオプションの引数としての行） 。アイデアは、速度の利点は、またはのString.txtようなコマンドが呼び出されるたびにシークスルーする必要がないことからもたらされるべきであるということです。これは、各反復の後に改行を印刷するだけです。headcutecho

それがどれだけ速いか（もしあれば）、>Entry_i行間に追加することは演習として残しておきます。

通常、テキストの処理にシェルループを使用することは望ましくありません。ここでは、私は使用しますperl：

$ perl -lpe 'read STDIN,$_,$_; print ">Entry_" . ++$n' lengths.txt < string.txt
>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

これは1つのコマンドで、（バッファリングにより、read一度に1バイト（通常のファイルの場合は数バイト）を読み取るシェルのコマンドよりもはるかに効率的に）両方のファイルを1回だけ（メモリに完全に保存せずに）読み取ります。シェルループで外部コマンドを実行するソリューションよりも数桁効率がよくなります。

（-Cこれらの数値がバイト数ではなく現在のロケールの文字数である必要がある場合はオプションを追加します。サンプルのようなASCII文字の場合、違いはありません）。

bash、バージョン4

mapfile -t lengths <lengths.txt
string=$(< String.txt)
i=0 
n=0
for len in "${lengths[@]}"; do
    echo ">Entry_$((++n))"
    echo "${string:i:len}"
    ((i+=len))
done

出力

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

どうawk？

process.awk次のコードで呼び出されるファイルを作成します。

function idx(i1, v1, i2, v2)
{
     # numerical index comparison, ascending order
     return (i1 - i2)
}
FNR==NR { a[FNR]=$0; next }
{ i=1;PROCINFO["sorted_in"] = "idx";
        for (j in a) {
                print ">Entry"j;
                ms=substr($0, i,a[j])
                print ms
                i=i+length(ms)
        }
}

保存して実行 awk -f process.awk lengths.txt string.txt