ディレクトリツリー全体(Git)の行末を変換する


162

次の状況:

私はOS Xを実行しているMacで作業しており、最近メンバー全員がWindowsを使用しているプロジェクトに最近参加しました。私の最初のタスクの1つは、Gitリポジトリにコードベースをセットアップすることでした。そのため、FTPからディレクトリツリーをプルし、ローカルで準備したGitリポジトリにチェックインしようとしました。これをやろうとしたとき、私が得たのはこれだけでした

fatal: CRLF would be replaced by LF in blog/license.txt.

これは「ブログ」フォルダーの下のすべてのファイルに影響するため、ツリー内のすべてのファイルをUnixの行末に簡単に変換する方法を探しています。そのまま使用できるツールはありますか、それとも自分でスクリプトを作成できますか?

参考までに、行末に関する私のGit設定:

core.safecrlf=true
core.autocrlf=input

回答:


268

dos2unixがそれを行います。かなり簡単なプロセス。
dos2unix filename

toolbearのおかげで、ここでは行末を再帰的に置き換え、空白、引用符、シェルのメタ文字を適切に処理する1行のコードを示します。

find . -type f -exec dos2unix {} \;

dos2unix 6.0を使用している場合、バイナリファイルは無視されます。


8
find blog -type f | xargs dos2unix速くなるはずです。-name *.*名前のどこかにピリオドが含まれるファイルのみを具体的に必要としない限り、どちらも必要ありません。これは、* nixではなく、Windowsのグロブです。
役に立たない

15
パスに空白、引用符、またはその他のシェルメタ文字が含まれるファイルに一致すると、findへのパイピングxargsは失敗findします。少なくともfind blog -type f -print0 | xargs -0 dos2unix、空白の場合を処理するために使用します。引用符などを避けるために、パイプfind-exec代わりにを使用dos2unixする必要があります。バイナリファイルで呼び出した場合、manページではその動作を指定していません。バイナリファイルでCRLFを変換すると、破損します。より長い代替手段ではありますが、より安全な方法については私の回答を参照してください。
toolbear 2011

1
CentOS 6.4にインストールされているバージョンではない@lukmdo .....上書きします...代わりに、ここからrpmfind.net/linux/rpm2html/search.php?query=dos2unix
Kerridge0

補遺:dos2unix CLIはHomebrew(npmではなく)を介して最も簡単にインストールできます。
2540625

2
可能であれば、このアプローチを使用してディレクトリをどのように無視しますか?
datatype_void

50

あなたがGNUを持っていると仮定するとgrepperlこれは現在のディレクトリの下の非バイナリファイルのCRLFをLFに再帰的に変換します:

find . -type f -exec grep -qIP '\r\n' {} ';' -exec perl -pi -e 's/\r\n/\n/g' {} '+'

使い方

現在のディレクトリで再帰的に検索します。またはサブディレクトリに変更.して、置換を制限します。blogwhatev

find .

通常のファイルのみに一致:

  -type f

ファイルにCRLFが含まれているかどうかをテストします。バイナリファイルを除外します。grep通常のファイルごとにコマンドを実行します。それはバイナリを除外する価格です。古いgrep場合は、file次のコマンドを使用してテストを作成してみてください。

  -exec grep -qIP '\r\n' {} ';'

CRLFをLFに置き換えます。'+'第二では-exec伝えfind蓄積一致するファイルに、コマンドの1つ(またはできるだけ少ないなど)の呼び出しに渡す-への配管のようにxargs、しかし、問題なくファイルのパスにスペース、引用符、または他のシェルのメタ文字が含まれている場合。i中には、-pi所定の位置にファイルを変更するのperlに指示します。sedまたはawkここでいくつかの作業を行うことができ、おそらく「+」を「;」に変更します。一致ごとに個別のプロセスを呼び出します。

  -exec perl -pi -e 's/\r\n/\n/g' {} '+'

6
それが誰かを助ける場合:grep -qIP '\r\n'私のCentOSシステムの何にも一致しません。動作するように変更しgrep -qIP '\r$'ます。
Steve Onorato 2016年

コメントで尋ねるのは嫌いですが、フォルダを除外する方法はありますnode_modulesか?
datatype_void

1
@datatype_void コマンドの一部を変更してディレクトリを除外する方法については、stackoverflow.com / questions / 4210042 /…をご覧くださいfind。彼らはの使用を提案して-pathいますが、-regexまたはを使用することもできます-iregex。つまり、任意の深度で-not -regex '.*/node_modules/.*'aを除外node_modulesします。
toolbear 2016

私がa regexまたはbashnoob として外れた場合は申し訳ありませんが、たとえばnode_module、複数の除外についてはどうdistですか?
datatype_void

-PフラグにはGNU grepが必要です。OS XはGNU grepからBSD grepに切り替えました。OS Xのためのいくつかの代替案:stackoverflow.com/questions/16658333/...
toolbear

28

これがより良いオプションです:スイスファイルナイフ。サブディレクトリ間で再帰的に動作し、スペースや特殊文字を適切に処理します。

あなたがしなければならないすべては:

sfk remcr -dir your_project_directory

おまけ:sfkは他の多くの変換も行います。完全なリストについては、以下を参照してください。

SFK - The Swiss File Knife File Tree Processor.
Release 1.6.7 Base Revision 2 of May  3 2013.
StahlWorks Technologies, http://stahlworks.com/
Distributed for free under the BSD License, without any warranty.

type "sfk commandname" for help on any of the following.
some commands require to add "-help" for the help text.

   file system
      sfk list       - list directory tree contents.
                       list latest, oldest or biggest files.
                       list directory differences.
                       list zip jar tar gz bz2 contents.
      sfk filefind   - find files by filename
      sfk treesize   - show directory size statistics
      sfk copy       - copy directory trees additively
      sfk sync       - mirror tree content with deletion
      sfk partcopy   - copy part from a file into another one
      sfk mkdir      - create directory tree
      sfk delete     - delete files and folders
      sfk deltree    - delete whole directory tree
      sfk deblank    - remove blanks in filenames
      sfk space [-h] - tell total and free size of volume
      sfk filetime   - tell times of a file
      sfk touch      - change times of a file

   conversion
      sfk lf-to-crlf - convert from LF to CRLF line endings
      sfk crlf-to-lf - convert from CRLF to LF line endings
      sfk detab      - convert TAB characters to spaces
      sfk entab      - convert groups of spaces to TAB chars
      sfk scantab    - list files containing TAB characters
      sfk split      - split large files into smaller ones
      sfk join       - join small files into a large one
      sfk hexdump    - create hexdump from a binary file
      sfk hextobin   - convert hex data to binary
      sfk hex        - convert decimal number(s) to hex
      sfk dec        - convert hex number(s) to decimal
      sfk chars      - print chars for a list of codes
      sfk bin-to-src - convert binary to source code

   text processing
      sfk filter     - search, filter and replace text data
      sfk addhead    - insert string at start of text lines
      sfk addtail    - append string at end of text lines
      sfk patch      - change text files through a script
      sfk snapto     - join many text files into one file
      sfk joinlines  - join text lines split by email reformatting
      sfk inst       - instrument c++ sourcecode with tracing calls
      sfk replace    - replace words in binary and text files
      sfk hexfind    - find words in binary files, showing hexdump
      sfk run        - run command on all files of a folder
      sfk runloop    - run a command n times in a loop
      sfk printloop  - print some text many times
      sfk strings    - extract strings from a binary file
      sfk sort       - sort text lines produced by another command
      sfk count      - count text lines, filter identical lines
      sfk head       - print first lines of a file
      sfk tail       - print last lines of a file
      sfk linelen    - tell length of string(s)

   search and compare
      sfk find       - find words in binary files, showing text
      sfk md5gento   - create list of md5 checksums over files
      sfk md5check   - verify list of md5 checksums over files
      sfk md5        - calc md5 over a file, compare two files
      sfk pathfind   - search PATH for location of a command
      sfk reflist    - list fuzzy references between files
      sfk deplist    - list fuzzy dependencies between files
      sfk dupfind    - find duplicate files by content

   networking
      sfk httpserv   - run an instant HTTP server.
                       type "sfk httpserv -help" for help.
      sfk ftpserv    - run an instant FTP server
                       type "sfk ftpserv -help" for help.
      sfk ftp        - instant anonymous FTP client
      sfk wget       - download HTTP file from the web
      sfk webrequest - send HTTP request to a server
      sfk tcpdump    - print TCP conversation between programs
      sfk udpdump    - print incoming UDP requests
      sfk udpsend    - send UDP requests
      sfk ip         - tell own machine's IP address(es).
                       type "sfk ip -help" for help.
      sfk netlog     - send text outputs to network,
                       and/or file, and/or terminal

   scripting
      sfk script     - run many sfk commands in a script file
      sfk echo       - print (coloured) text to terminal
      sfk color      - change text color of terminal
      sfk alias      - create command from other commands
      sfk mkcd       - create command to reenter directory
      sfk sleep      - delay execution for milliseconds
      sfk pause      - wait for user input
      sfk label      - define starting point for a script
      sfk tee        - split command output in two streams
      sfk tofile     - save command output to a file
      sfk toterm     - flush command output to terminal
      sfk loop       - repeat execution of a command chain
      sfk cd         - change directory within a script
      sfk getcwd     - print the current working directory
      sfk require    - compare version text

   development
      sfk bin-to-src - convert binary data to source code
      sfk make-random-file - create file with random data
      sfk fuzz       - change file at random, for testing
      sfk sample     - print example code for programming
      sfk inst       - instrument c++ with tracing calls

   diverse
      sfk media      - cut video and binary files
      sfk view       - show results in a GUI tool
      sfk toclip     - copy command output to clipboard
      sfk fromclip   - read text from clipboard
      sfk list       - show directory tree contents
      sfk env        - search environment variables
      sfk version    - show version of a binary file
      sfk ascii      - list ISO 8859-1 ASCII characters
      sfk ascii -dos - list OEM codepage 850 characters
      sfk license    - print the SFK license text

   help by subject
      sfk help select   - how dirs and files are selected in sfk
      sfk help options  - general options reference
      sfk help patterns - wildcards and text patterns within sfk
      sfk help chain    - how to combine (chain) multiple commands
      sfk help shell    - how to optimize the windows command prompt
      sfk help unicode  - about unicode file reading support
      sfk help colors   - how to change result colors
      sfk help xe       - for infos on sfk extended edition.

   All tree walking commands support file selection this way:

   1. short format with ONE directory tree and MANY file name patterns:
      src1dir .cpp .hpp .xml bigbar !footmp
   2. short format with a list of explicite file names:
      letter1.txt revenues9.xls report3\turnover5.ppt
   3. long format with MANY dir trees and file masks PER dir tree:
      -dir src1 src2 !src\save -file foosys .cpp -dir bin5 -file .exe

   For detailed help on file selection, type "sfk help select".

   * and ? wildcards are supported within filenames. "foo" is interpreted
   as "*foo*", so you can leave out * completely to search a part of a name.
   For name start comparison, say "\foo" (finds foo.txt but not anyfoo.txt).

   When you supply a directory name, by default this means "take all files".

      sfk list mydir                lists ALL  files of mydir, no * needed.
      sfk list mydir .cpp .hpp      lists SOME files of mydir, by extension.
      sfk list mydir !.cfg          lists all  files of mydir  EXCEPT .cfg

   general options:
      -tracesel tells in detail which files and/or directories are included
                or excluded, and why (due to which user-supplied mask).
      -nosub    do not process files within subdirectories.
      -nocol    before any command switches off color output.
      -quiet    or -nohead shows less output on some commands.
      -hidden   includes hidden and system files and dirs.
      For detailed help on all options, type "sfk help options".

   beware of Shell Command Characters.
      command parameters containing characters < > | ! & must be sur-
      rounded by quotes "". type "sfk filter" for details and examples.

   type "sfk ask word1 word2 ..."   to search ALL help text for words.
   type "sfk dumphelp"              to print  ALL help text.

編集:注意:バイナリファイルを含むフォルダーでこれを実行する場合は注意が必要です。ファイル(特に.gitディレクトリ)が効果的に破壊されるためです。この場合は、フォルダー全体でsfkを実行せ、代わりに特定のファイル拡張子(* .rb、*。pyなど)を選択してください。例:sfk remcr -dir chef -file .rb -file .json -file .erb -file .md


OSX Mavericksでうまく動作します。何もインストールする必要はありません。マウントされたdmgからスクリプトを実行するだけで、ターミナルは準備ができているように見えます。
ネイト・クック

@Gui Ambros .gitフォルダー内のファイルについて心配する必要はありません。sfkはデフォルトでは隠しフォルダ内のファイルを更新しません。
bittusarkar 2015

1
@bittusarkar:私が回答した時点で、sfk.gitフォルダー全体を効果的に処理し、一連のバイナリを破壊しました(そのため、私の編集 ; LinuxかMacかを覚えていません)。最近のバージョンではデフォルトの動作が変更されている可能性がありますが、念のため、拡張子を指定することをお勧めします。
Gui Ambros

1
これは、すべての関連ファイルを単に修正しなかった推奨gitコマンドを使用して私のリポジトリを正規化しようとするのにあまりにも多くの時間を費やした後、私にとってはうまくいきました。
Angularsen

1
ありがとう!これを使用して一連のファイル全体をすばやく簡単に変換し、Gitのステージング領域に追加できるようになりました。OSX 10.9.5では、ファイルが作成された場所がわかりません。
ryanwc

16
find . -not \( -name .svn -prune -o -name .git -prune \) -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

これは、gitリポジトリの破損を防ぐので、はるかに安全です。.git、.svnを.bzr、.hg、または使用しているソースコントロールでnotリストに追加または置き換えます。


3
これは、dos2unixなどをインストールする必要がなかった場合の最良の答えです。ファイルタイプの除外を許可し、ソースコードファイルの破損を回避します。
Raghavan 2018年

10

OS Xでは、これは私にとってはうまくいきました:

find ./ -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

警告:このコマンドを実行する前にディレクトリをバックアップしてください。


5
これが私のgitリポジトリを破壊したことに注意してください。実行する前に.gitフォルダーを移動し、後でそれを元に戻すことで、もう一度試してみました。
ガリー

1
これはバイナリファイルを除外しないことにも注意します。そのため、たとえばjpgが破損します。
Niek

0

ここでsedを使用する場合の解決策:

find . -type f -exec sed -i 's/\r$//' {} \;

-i バックアップを作成し、使用する場合は、インプレースを表します -i.bak

's/\r$//'\r各行の終わりですべての復帰()を置き換えます

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.