巨大なファイルの改行を含む文字列を置換

メモリー効率のよい方法で文字列を「バイナリ」検索/置換する非行ベースのツールを知っている人はいますか？この質問もご覧ください。

+ 2GBのテキストファイルがあり、これと同じように処理したいと思います。

sed -e 's/>\n/>/g'

つまり、の後にあるすべての改行を削除したいの>ですが、他の場所ではなく、除外しtr -dます。

このコマンド（同様の質問の答えから得た）は次のように失敗しcouldn't re-allocate memoryます：

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

だから、Cに頼らずに他の方法はありますか？私はperlが嫌いですが、この場合は例外を作りたいです:-)

データ内に出現しない文字がわからないので、一時的に\n別の文字に置き換えることは可能な限り避けたいものです。

良いアイデアはありますか？

これはPerlでは本当に些細なことです。あなたはそれを嫌うべきではありません！

perl -i.bak -pe 's/>\n/>/' file

説明

• -i：ファイルを所定の場所で編集し、元のファイルのバックアップを作成しますfile.bak。バックアップが必要ない場合は、perl -i -pe代わりに使用してください。
• -pe：入力ファイルを1行ずつ読み取り、-e。として指定されたスクリプトを適用した後、各行を出力します。
• s/>\n/>/：置換、ちょうどのようにsed。

そして、ここにawkアプローチがあります：

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

perl解決策：

$ perl -pe 's/(?<=>)\n//'

説明

• s/// 文字列の置換に使用されます。
• (?<=>) 後読みパターンです。
• \n 改行に一致します。

パターン全体は、その>前にあるすべての改行を削除することを意味します。

これはどう：

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

GNU sedの場合、質問に従って-u（--unbuffered）オプションを追加することもできます。GNU sedは、シンプルなワンライナーとしてこれにも満足しています。

sed ':loop />$/ { N; s/\n//; b loop }' file

あなたは使用することができるはずsedでNコマンドが、トリックは、パターンスペースから、あなたが（別のものを追加するたびに1行を削除することになりますので、パターンスペースがなく、常に全体を読み込むしようとしているの、唯一の2連続した行が含まれていることファイル）-試してください

sed ':a;$!N;s/>\n/>/;P;D;ba'

編集：Peteris Kruminsの有名なSed One-Linersの説明を読み直した後、私はより良いsed解決策があると信じています

sed -e :a -e '/>$/N; s/\n//; ta'

既に>最後に一致している場合にのみ次の行を追加し、条件に応じてループバックして、連続する一致行のケースを処理する必要があります（クルミンの39です。バックスラッシュで終了する場合は次に行を追加します「\」まさにの置換を除く>ための\文字、文字が出力に保持されて参加しているという事実を）結合として。

sed最後の改行なしで出力を出力する方法を提供しません。N基本的に使用するアプローチは機能しますが、メモリに不完全な行を格納するため、行が長くなりすぎると失敗する可能性があります（sed implentationsは通常、極端に長い行を処理するように設計されていません）。

代わりにawkを使用できます。

awk '{if (/<$/) printf "%s", $0; else print}'

別のアプローチは、使用することです tr、改行文字を「退屈な」頻繁に発生する文字と交換することです。ここでスペースが機能する場合があります。データのすべての行または少なくとも大部分の行に表示される傾向がある文字を選択します。

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

edの使用はどうですか？

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

（http://wiki.bash-hackers.org/howto/edit-ed経由）

この答えで説明されているように、私はgsarを次のように使用することになりました。

gsar -F '-s>:x0A' '-r>'

これを行うには多くの方法があり、ここでのほとんどは本当に良いですが、これは私のお気に入りだと思います：

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

あるいは：

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'