タグ付けされた質問 「character-encoding」

utf-8でエンコードされたアラビア語、英語、ロシア語のファイルがたくさんあります。Perlスクリプトを使用してこれらのファイルを処理しようとすると、次のエラーが発生します。 Malformed UTF-8 character (fatal) これらのファイルの内容を手動で確認したところ、奇妙な文字がいくつか見つかりました。今、私はこれらの文字をファイルから自動的に削除する方法を探しています。 とにかくそれをすることはありますか？

84 linux  bash  text  utf-8  character-encoding 

厳密なUnicodeプログラミングを行うにはどのような前提条件が必要ですか？ これは、私のコードがcharどこでも型を使用してはならず、wint_tおよびを処理できる関数を使用する必要があることを意味しwchar_tますか？ そして、このシナリオでマルチバイト文字シーケンスが果たす役割は何ですか？

82 c  unicode  utf-8  character-encoding  locale 

ソケット接続にJavaNIOを使用しており、プロトコルはテキストベースであるため、SocketChannelに書き込む前に文字列をByteBufferに変換し、着信ByteBufferを文字列に戻す必要があります。現在、私はこのコードを使用しています： public static Charset charset = Charset.forName("UTF-8"); public static CharsetEncoder encoder = charset.newEncoder(); public static CharsetDecoder decoder = charset.newDecoder(); public static ByteBuffer str_to_bb(String msg){ try{ return encoder.encode(CharBuffer.wrap(msg)); }catch(Exception e){e.printStackTrace();} return null; } public static String bb_to_str(ByteBuffer buffer){ String data = ""; try{ int old_position = buffer.position(); data = decoder.decode(buffer).toString(); // …

82 java  string  character-encoding  nio  bytebuffer 

Pythonでのエンコーディングに問題があります。さまざまな方法を試しましたが、出力をUTF-8にエンコードするための最良の方法が見つからないようです。 これは私がやろうとしていることです： result = unicode(google.searchGoogle(param), "utf-8").encode("utf-8") searchGoogleの最初のGoogle結果を返しますparam。 これは私が得るエラーです： exceptions.TypeError: decoding Unicode is not supported このエラーを回避するためにPythonに出力をUTF-8でエンコードさせる方法を知っている人はいますか？

81 python  encoding  utf-8  character-encoding 

私はデータベースソースからプルするphpプログラムを書いています。一部のvarcharには、疑問符が付いた黒いひし形として表示されている引用符があります（ 、REPLACEMENT CHARACTER、Microsoft Wordのテキストから推測します）。 どうすればphpを使用してこれらの文字を取り除くことができますか？

81 php  encoding  character-encoding 

FPDFパッケージのエンコーディングをutf-8に設定する方法を知っている人はいますか？または、少なくともギリシャ文字をサポートするISO-8859-7（ギリシャ語）に対してですか？ 基本的にギリシャ文字を含むPDFファイルを作成したいと思います。 どんな提案も役に立ちます。ジョージ

80 unicode  utf-8  character-encoding  fpdf