バリアント文字セットでエンコードされた多くのプレーンテキストファイルがあります。
それらをすべてUTF-8に変換したいのですが、iconvを実行する前に、元のエンコーディングを知る必要があります。ほとんどのブラウザにはAuto Detectエンコーディングのオプションがありますが、あまりにも多くあるため、これらのテキストファイルを1つずつ確認することはできません。
元のエンコーディングのみがわかっているので、テキストをで変換できiconv -f DETECTED_CHARSET -t utf-8ます。
プレーンテキストファイルのエンコードを検出するユーティリティはありますか？100％完全である必要はありません。100万個のファイルが1,000,000個のファイルに誤って変換されていてもかまいません。
回答:
PyPiで利用可能なchardet Pythonモジュールを試してください。
pip install chardet
次にを実行しchardetect myfile.txtます。
Chardetは、Mozillaが使用する検出コードに基づいているため、入力テキストが統計分析に十分な長さであれば、妥当な結果が得られます。プロジェクトのドキュメントを読んでください。
コメントで述べたように、それは非常に遅いですが、@ Xavierがhttps://superuser.com/a/609056で見つけたように、一部のディストリビューションは元のC ++バージョンも出荷しています。Javaバージョンもどこかにあります。
chardetでも、のように、最も正確に推測でき./a.txt: GB2312 (confidence: 0.99)ます。失敗したばかりのEncaと比較して、「認識されないエンコーディング」を報告します。しかし、悲しいことに、chardet非常に遅いです。
chardet <(head -c4000 filename.txt)ははるかに速く、私のユースケースでも同様に成功しました。（場合には、このbashの構文はchardetにのみ最初の4000のバイトを送信しますはっきりしていない）
chardet==3.0.4、とコマンドラインツールの実際の実行可能ファイル名があるchardetectではありませんchardet。
この単純なコマンドを使用します。
encoding=$(file -bi myfile.txt)
または、実際の文字セット（などutf-8）のみが必要な場合：
encoding=$(file -b --mime-encoding myfile.txt)
fileUTF-8やUTF-16などの特定のプロパティを持つエンコーディングのみが検出されます。残りの-古いISO8859またはそのMS-DOSとWindowsの特派員-はchardet、99％の信頼度で検出するファイルであっても、「unknown-8bit」または類似のものとしてリストされます。
DebianベースのLinuxでは、uchardetパッケージ（Debian / Ubuntu）がコマンドラインツールを提供します。パッケージの説明の下を参照してください。
universal charset detection library - cli utility
.
uchardet is a C language binding of the original C++ implementation
of the universal charset detection library by Mozilla.
.
uchardet is a encoding detector library, which takes a sequence of
bytes in an unknown character encoding without any additional
information, and attempts to determine the encoding of the text.
.
The original code of universalchardet is available at
http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
.
Techniques used by universalchardet are described at
http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html
uchardetHomebrewを使用してインストールする場合、OS Xでも使用できます。
iconv。
Mozillaには、Webページでの自動検出のための素晴らしいコードベースがあります：http :
//lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/
アルゴリズムの詳細な説明：http :
//www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html
chardet（python 2.？）に戻ると、この呼び出しで十分かもしれません。
python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}
完璧にはほど遠いものの....
echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}
Emacsを定期的に使用している人にとっては、次のものが便利だと思われるかもしれません（手動で変換を検査および検証できます）。
さらに、Emacsの文字セット自動検出は、他の文字セット自動検出ツール（chardetなど）よりもはるかに効率的であることがよくあります。
(setq paths (mapcar 'file-truename '(
"path/to/file1"
"path/to/file2"
"path/to/file3"
)))
(dolist (path paths)
(find-file path)
(set-buffer-file-coding-system 'utf-8-unix)
)
次に、このスクリプトを引数として（「-l」オプションを参照）Emacsを単純に呼び出すと、ジョブが実行されます。
UTFCastは試してみる価値があります。私にとってはうまくいきませんでした（おそらくファイルがひどいため）。
http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/
また、ファイル-iが不明の場合
以下のような文字セットを推測できるこのphpコマンドを使用できます。
phpでは、以下のように確認できます。
エンコードリストを明示的に指定する：
php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"
より正確な " mb_list_encodings "：
php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"
ここで最初の例では、一致する可能性のあるエンコードのリスト（リストの順序を検出）を配置していることがわかります。より正確な結果を得るには、次の方法ですべての可能なエンコードを使用できます：mb_list_encodings（）
注意mb_ *関数にはphp-mbstringが必要です
apt-get install php-mbstring
回答を参照してください：https : //stackoverflow.com/a/57010566/3382822
python-chardetUbuntuユニバースリポジトリのように既にパッケージ化されています。