BashスクリプトでDOS / Windows改行（CRLF）をUnix改行（LF）に変換する方法は？

プログラムで（つまりを使用せずにvi）DOS / Windowsの改行をUnixに変換するにはどうすればよいですか？

dos2unixそしてunix2dosコマンドは、特定のシステムでは使用できません。どのように私はこれらのようなコマンドをエミュレートすることができますかsed/ awk/ tr？

trDOSからUnixへの変換に使用できます。ただし、CRがファイルにCRLFバイトペアの最初のバイトとしてのみ表示される場合にのみ、これを安全に行うことができます。これは通常のケースです。次に使用します：

tr -d '\015' <DOS-file >UNIX-file

名前DOS-fileは名前とは異なることに注意してくださいUNIX-file。同じ名前を2回使用しようとすると、ファイルにデータがなくなります。

他の方法でそれを行うことはできません（標準の 'tr'を使用）。

あなたがスクリプトにキャリッジリターンを入力する方法を知っていれば（control-V、control-Mその後、制御-Mを入力します）：

sed 's/^M$//'     # DOS to Unix
sed 's/$/^M/'     # Unix to DOS

ここで、「^ M」はコントロールM文字です。bash ANSI-C引用メカニズムを使用して、復帰を指定することもできます。

sed $'s/\r$//'     # DOS to Unix
sed $'s/$/\r/'     # Unix to DOS

あなたは非常に頻繁にこれを実行する必要があるとしている場合は、（複数回、大まかに言えば）、変換プログラムをインストールするには、はるかに賢明である（例えばdos2unix、およびunix2dos、またはおそらくdtouとutod）とそれらを使用しています。

ディレクトリとサブディレクトリ全体を処理する必要がある場合は、次を使用できますzip。

zip -r -ll zipfile.zip somedir/
unzip zipfile.zip

これにより、行末がCRLFからCRに変更されたzipアーカイブが作成されます。unzip次に、変換されたファイルを元の場所に戻します（ファイルごとに尋ねます-答えは「はい」から「すべて」）。これを指摘してくれた@vmsnomadの功績。

tr -d "\r" < file

使用例については、こちらをご覧くださいsed。

# IN UNIX ENVIRONMENT: convert DOS newlines (CR/LF) to Unix format.
sed 's/.$//'               # assumes that all lines end with CR/LF
sed 's/^M$//'              # in bash/tcsh, press Ctrl-V then Ctrl-M
sed 's/\x0D$//'            # works on ssed, gsed 3.02.80 or higher

# IN UNIX ENVIRONMENT: convert Unix newlines (LF) to DOS format.
sed "s/$/`echo -e \\\r`/"            # command line under ksh
sed 's/$'"/`echo \\\r`/"             # command line under bash
sed "s/$/`echo \\\r`/"               # command line under zsh
sed 's/$/\r/'                        # gsed 3.02.80 or higher

sed -iインプレース変換などに使用しsed -i 's/..../' fileます。

POSIXでこれを行うのは注意が必要です。

• POSIX Sedは\rまたはをサポートしていません\15。たとえあったとしても、その場でのオプション-iはPOSIXではありません

• POSIX Awkは\rおよびをサポートし\15てい-i inplaceますが、オプションはPOSIXではありません

• d2uとdos2unixはPOSIXユーティリティではありませんが、exは

• POSIX exはサポートしていない\r、\15、\nまたは\12

改行を削除するには：

ex -bsc '%!awk "{sub(/\r/,\"\")}1"' -cx file

改行を追加するには：

ex -bsc '%!awk "{sub(/$/,\"\r\")}1"' -cx file

オプション-c {command}を使用してプログラムでvimを使用できます。

UnixへのDos：

vim file.txt -c "set ff=unix" -c ":wq"

Unixからdos：

vim file.txt -c "set ff=dos" -c ":wq"

「set ff = unix / dos」は、ファイルのファイル形式（ff）をUnix / DOSの行末形式に変更することを意味します

"：wq"は、ファイルをディスクに書き込み、エディターを終了します（ループでコマンドを使用できます）

AWKを使用すると、次のことができます。

awk '{ sub("\r$", ""); print }' dos.txt > unix.txt

Perlを使用すると、次のことができます。

perl -pe 's/\r$//' < dos.txt > unix.txt

ファイルをその場で変換するには

dos2unix <filename>

変換されたテキストを別のファイルに出力するには

dos2unix -n <input-file> <output-file>

UbuntuまたはDebianにインストールできます

sudo apt install dos2unix

またはmacbでhomebrewを使用

brew install dos2unix

この問題は標準ツールで解決できますflipが、20年以上前にの作者であるRahul Dhesiが作成したコマンドをインストールすることをお勧めしますzoo。たとえば、バイナリファイルの不注意による破壊を回避しながら、ファイル形式を変換する優れた仕事をします。これは、目にするすべてのCRLFの変更に取り掛かるだけでは少し簡単です...

これまでに投稿された解決策は問題の一部のみを扱い、DOS / WindowsのCRLFをUnixのLFに変換します。欠けているのは、DOSがCRLFを行区切り文字として使用するのに対し、UnixはLFを行終了文字として使用することです。違いは、DOSファイル（通常）はファイルの最後の行の後に何もないことですが、Unixにはあります。正しく変換するには、その最後のLFを追加する必要があります（ファイルの長さがゼロでない場合、つまりファイルに行がない場合を除きます）。これに対する私のお気に入りの呪文（Mac形式のCRで区切られたファイルを処理するためのロジックが少し追加され、すでにUNIX形式の痴漢ファイルではない）は少しperlです。

perl -pe 'if ( s/\r\n?/\n/g ) { $f=1 }; if ( $f || ! $m ) { s/([^\n])\z/$1\n/ }; $m=1' PCfile.txt

これにより、Unix化されたバージョンのファイルがstdoutに送信されることに注意してください。ファイルをUnix化されたバージョンに置き換える場合は、perlの-iフラグを追加します。

dos2unixにアクセスできないが、このページを読むことができる場合は、ここからdos2unix.pyをコピーして貼り付けることができます。

#!/usr/bin/env python
"""\
convert dos linefeeds (crlf) to unix (lf)
usage: dos2unix.py <input> <output>
"""
import sys

if len(sys.argv[1:]) != 2:
  sys.exit(__doc__)

content = ''
outsize = 0
with open(sys.argv[1], 'rb') as infile:
  content = infile.read()
with open(sys.argv[2], 'wb') as output:
  for line in content.splitlines():
    outsize += len(line) + 1
    output.write(line + '\n')

print("Done. Saved %s bytes." % (len(content)-outsize))

スーパーユーザーからのクロスポスト。

PCREで簡単にスーパーデューパー。

スクリプトとして、または$@ファイルに置き換えます。

#!/usr/bin/env bash
perl -pi -e 's/\r\n/\n/g' -- $@

これでファイルが上書きされます！

これはバックアップ（バージョン管理など）でのみ行うことをお勧めします

プログラムなしのさらに単純なawkソリューション：

awk -v ORS='\r\n' '1' unix.txt > dos.txt

技術的には「1」はプログラムです。b/ c awkはオプションが指定されたときに1つ必要です。

更新：このページを久しぶりに再訪した後、内部ソリューションをまだ誰も投稿していないことに気づきました。

while IFS= read -r line;
do printf '%s\n' "${line%$'\r'}";
done < dos.txt > unix.txt

おもしろいことに、私のgit-bashのWindows sed ""では、既にトリックが行われています。

$ echo -e "abc\r" >tst.txt
$ file tst.txt
tst.txt: ASCII text, with CRLF line terminators
$ sed -i "" tst.txt
$ file tst.txt
tst.txt: ASCII text

私の推測では、sedは入力から行を読み取るときにそれらを無視し、常に出力にUNIXの行末を書き込みます。

これは私のために働いた

tr "\r" "\n" < sampledata.csv > sampledata2.csv 

同じ質問を熟考する必要がありました（Windows側ですが、Linuxにも同様に当てはまります）。驚いたことに、古き良きzip -llオプション（Info-ZIP）を使用してテキストファイルのCRLF <-> LF変換を行う非常に自動化された方法については誰も言及していません。

zip -ll textfiles-lf.zip files-with-crlf-eol.*
unzip textfiles-lf.zip 

注：これにより、元のファイル名を保持しながら、行末をLFに変換するzipファイルが作成されます。次にunzip、zipされたファイル、つまり元の名前（ただしLFで終わるファイル）を抽出し、ローカルの元のファイルがある場合は上書きするように求めます。

からの関連抜粋zip --help：

zip --help
...
-l   convert LF to CR LF (-ll CR LF to LF)

Mac OSXの場合、homebrewがインストールされている場合[ http://brew.sh/][1]

brew install dos2unix

for csv in *.csv; do dos2unix -c mac ${csv}; done;

このコマンドはファイルを適切に変更するため、ファイルのコピーを作成したことを確認してください。-c macオプションは、スイッチをosxと互換性があるようにします。

TIMTOWTDI！

perl -pe 's/\r\n/\n/; s/([^\n])\z/$1\n/ if eof' PCfile.txt

@GordonDavissonに基づく

の可能性を考慮する必要があり[noeol]ます...

awkを使用できます。レコード区切り文字（RS）を、可能なすべての改行文字または文字と一致する正規表現に設定します。そして、出力レコード区切り文字（ORS）をUNIXスタイルの改行文字に設定します。

awk 'BEGIN{RS="\r|\n|\r\n|\n\r";ORS="\n"}{print}' windows_or_macos.txt > unix.txt

Linuxでは、sedを使用して^ M（ctrl-M）を* nix改行（^ J）に変換するのは簡単です。

CLIでは次のようになります。実際にはテキストに改行があります。ただし、\は^ Jをsedに渡します。

sed 's/^M/\
/g' < ffmpeg.log > new.log

入力するには、^ V（Ctrl-V）、^ M（Ctrl-M）、および\（バックスラッシュ）を使用してこれを取得します。

sed 's/^V^M/\^V^J/g' < ffmpeg.log > new.log

sed --expression='s/\r\n/\n/g'

質問はsedについて言及しているため、これはsedを使用してこれを達成する最も簡単な方法です。この表現では、キャリッジリターンとラインフィードをすべてラインフィードのみに置き換えています。これは、WindowsからUnixに移行するときに必要です。動作することを確認しました。

Jonathan LefflerのUnixからDOSへのソリューションの拡張機能として、ファイルの現在の行末がわからない場合に安全にDOSに変換するには：

sed '/^M$/! s/$/^M/'

これは、CRLFに変換する前に、行がCRLFで終わっていないことを確認します。

受け入れられた回答に基づいてスクリプトを作成しました。最後に追加のファイルを必要とせず、後で削除して名前を変更することなく、直接変換できます。

convert-crlf-to-lf() {
    file="$1"
    tr -d '\015' <"$file" >"$file"2
    rm -rf "$file"
    mv "$file"2 "$file"
}

「file1.txt」のようなファイルがあり、「file1.txt2」がまだ存在しないか、上書きされることを確認してください。ファイルを一時的に保存する場所として使用します。

bash 4.2以降では、次のようなものを使用して、bashビルトインのみを使用する末尾のCRを削除できます。

if [[ "${str: -1}" == $'\r' ]]; then
    str="${str:: -1}"
fi

OSXおよび他のいくつかの方法でsed 's / ^ M $ //' file.txtを試しました（http://www.thingy-ma-jig.co.uk/blog/25-11-2010/fixing- dos-line-endingsまたはhttp://hintsforums.macworld.com/archive/index.php/t-125.html）。何も動作せず、ファイルは変更されませんでした（^ Mを再現するにはCtrl-v Enterが必要でした）。結局、TextWranglerを使用しました。厳密にはコマンドラインではありませんが、機能し、文句を言うことはありません。