テキストファイルからUTF-8以外の文字を削除する方法

utf-8でエンコードされたアラビア語、英語、ロシア語のファイルがたくさんあります。Perlスクリプトを使用してこれらのファイルを処理しようとすると、次のエラーが発生します。

Malformed UTF-8 character (fatal)

これらのファイルの内容を手動で確認したところ、奇妙な文字がいくつか見つかりました。今、私はこれらの文字をファイルから自動的に削除する方法を探しています。

とにかくそれをすることはありますか？

このコマンド：

iconv -f utf-8 -t utf-8 -c file.txt

無効な文字をすべてスキップして、UTF-8ファイルをクリーンアップします。

-f is the source format
-t the target format
-c skips any invalid sequence

メソッドはバイトごとに読み取り、文字のバイト単位の構成を完全に理解して評価する必要があります。最も簡単な方法は、UTF-8文字のみを出力する以外はすべて読み取るエディターを使用することです。テキストパッドは1つの選択肢です。

cat foo.txt | strings -n 8 > bar.txt

仕事をします。