Linuxでスクリプトを介してファイルのエンコーディングを見つける方法は？

ディレクトリに配置されているすべてのファイルのエンコーディングを見つける必要があります。使用されているエンコーディングを見つける方法はありますか？

fileコマンドは、これを実行することはできません。

私にとって興味深いエンコーディングは、ISO-8859-1です。エンコードがそれ以外の場合は、ファイルを別のディレクトリに移動します。

あなたが探しているように聞こえますenca。エンコーディング間で推測したり変換したりすることもできます。ただ、見てmanページ。

または、失敗した場合は、file -i（linux）またはfile -I（osx）を使用します。これにより、ファイルのMIMEタイプ情報が出力されます。これには、文字セットエンコーディングも含まれます。私もそれのマンページを見つけました:)

file -bi <file name>

大量のファイルに対してこれを行う場合

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

ウシャルデ -Mozillaから移植されたエンコード検出ライブラリ。

使用法：

~> uchardet file.java 
UTF-8

さまざまなLinuxディストリビューション（Debian / Ubuntu、OpenSuse-packmanなど）がバイナリを提供します。

これは、ファイル-Iとiconvを使用してMacOsXで機能するスクリプトの例です。質問では、iconvの代わりにmvを使用する必要があります。

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

それがiso-8859-1であるかどうかを判断することは本当に難しいです。7ビット文字のみのテキストで、iso-8859-1の場合もあるが、わからない場合。8ビット文字がある場合、上位領域の文字もエンコード順に存在します。そのため、辞書を使用して、どの単語であるかをより正確に推測し、そこからどの文字にする必要があるかを判断する必要があります。最後に、utf-8である可能性があることを検出した場合、iso-8859-1ではないと確信できます。

何も言われていないかわからないため、エンコーディングは最も難しい作業の1つです。

Debianでは次も使用できますencguess。

$ encguess test.txt
test.txt  US-ASCII

エンコーディングを8859からASCIIに変換するには：

iconv -f ISO_8859-1 -t ASCII filename.txt

Pythonでは、chardetモジュールを使用できます：https : //github.com/chardet/chardet

これは、誰でもできる方法ではありません。一つの可能性は、それが範囲内の任意の文字が含まれていないことを確認するために、ファイル内のすべての文字を調べることであろう0x00 - 0x1fかを0x7f -0x9f私が言ったように、これはISO8859の少なくとも一つの他の変異体を含む、任意の数のファイルのための真のかもしれないが、。

別の可能性は、サポートされているすべての言語でファイル内の特定の単語を探し、それらを見つけることができるかどうかを確認することです。

したがって、たとえば、8859-1のサポートされているすべての言語で英語の「and」、「but」、「to」、「of」などに相当するものを見つけて、それらの中に多数の出現があるかどうかを確認します。ファイル。

私は次のような文字通りの翻訳について話しているのではありません：

English   French
-------   ------
of        de, du
and       et
the       le, la, les

それは可能ですが。私はターゲット言語の一般的な単語について話している（私が知っているすべてのことについて、アイスランド語には「および」の単語がない-おそらく「魚」にその単語を使用する必要があるだろう[申し訳ありませんが、少しステレオタイプで、私はしませんでした任意の違反を意味し、単なるポイントを説明します]）。

より一般的な答えに興味があることはわかっていますが、ASCIIの優れた点は通常、他のエンコーディングでも優れています。以下は、標準入力がASCIIかどうかを判別するPythonの1行です。（私はこれがPython 2で動作することを確信していますが、Python 3でのみテストしました。）

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

XMLファイル（ISO-8859-1）について話している場合、それらの内部のXML宣言はエンコードを指定します。<?xml version="1.0" encoding="ISO-8859-1" ?>
したがって、正規表現（たとえばperl）を使用して、そのような指定がないかすべてのファイルをチェックできます。
詳細については、「テキストファイルのエンコーディングを判別する方法」を参照してください。

phpでは、次のように確認できます：

エンコードリストを明示的に指定する：

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

より正確な「mb_list_encodings」：

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

ここの最初の例では、一致する可能性のあるエンコードのリスト（検出リストの順序）を配置したことがわかります。より正確な結果を得るには、次の方法で可能なすべてのエンコーディングを使用できます：mb_list_encodings（）

mb_ *関数にはphp-mbstringが必要です。

apt-get install php-mbstring

Cygwinでは、これは私にとってはうまくいくようです：

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

例：

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

これをawkにパイプし、iconvコマンドでコマンドを作成して、iconvでサポートされているソースエンコーディングからすべてをutf8に変換できます。

例：

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

fileコマンドを使用して、単一ファイルのエンコーディングを抽出できます。私はsample.htmlファイルを持っています：

$ file sample.html 

sample.html：HTMLドキュメント、UTF-8 Unicodeテキスト、非常に長い行

$ file -b sample.html

HTMLドキュメント、UTF-8 Unicodeテキスト、非常に長い行

$ file -bi sample.html

text / html; charset = utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf-8

次のスクリプトを使用して

1. FILTERとSRC_ENCODINGが一致するすべてのファイルを検索します
2. それらのバックアップを作成する
3. それらをDST_ENCODINGに変換します
4. （オプション）バックアップを削除します

。

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

このコマンドで：

for f in `find .`; do echo `file -i "$f"`; done

ディレクトリとサブディレクトリ内のすべてのファイルと対応するエンコーディングをリストできます。

Perlでは、Encode :: Detectを使用します。