タグ付けされた質問 「utf-16」

UTF-8、UTF-16、UTF-32の違いは何ですか？ それらはすべてUnicodeを格納し、それぞれが文字を表すために異なるバイト数を使用することを理解しています。どちらを選択するかには利点がありますか？

487 unicode  utf-8  utf-16  utf  utf-32 

Unicodeの基礎とは何か、なぜUTF-8またはUTF-16が必要なのか？私はこれをグーグルで研究し、ここでも検索しましたが、私にはわかりません。 VSSでファイル比較を行うと、2つのファイルのUTFが異なるというメッセージが表示されることがあります。なぜこれが当てはまるのでしょうか？ 簡単に説明してください。

395 unicode  encoding  utf-8  utf-16 

私はのドキュメントStringBuffer、特にreverse（）メソッドを読んでいました。そのドキュメントは、サロゲートペアについて何かを述べています。このコンテキストでサロゲートペアとは何ですか？そして、低および高代理は何ですか？

149 java  unicode  utf-16  surrogate-pairs 

Virtual PC仮想マシンファイル（* .vmc）をgitで追跡していますが、変更を加えた後、gitはファイルをバイナリとして識別し、差分を表示しません。ファイルがUTF-16でエンコードされていることを発見しました。 このファイルがテキストであることを認識し、適切に処理するようにgitを教えることができますか？ Cygwinでgitを使用していますが、core.autocrlfをfalseに設定しています。必要に応じて、UNIXでmSysGitまたはgitを使用できます。

140 git  unicode  character-encoding  diff  utf-16 

UTF-8とUTF-16の違いは？なぜこれらが必要なのですか？ MessageDigest md = MessageDigest.getInstance("SHA-256"); String text = "This is some text"; md.update(text.getBytes("UTF-8")); // Change this to "UTF-16" if needed byte[] digest = md.digest();

137 java  unicode  utf-8  utf-16  utf 

ここに2つの質問があります。私は通常BOMを備えたUTF-8であるファイルのセットを持っています。それらを（理想的には適切に）BOMなしのUTF-8に変換したいと思います。これcodecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors)を処理するようです。しかし、私は実際に使用法の良い例を見ていません。これはこれを処理するための最良の方法でしょうか？ source files: Tue Jan 17$ file brh-m-157.json brh-m-157.json: UTF-8 Unicode (with BOM) text また、明示的に知らなくても（ASCIIとUTF-16で見られる）さまざまな入力エンコーディングを処理できれば理想的です。これはすべて実行可能であるように思われます。既知のPythonエンコーディングを取得してBOMなしでUTF-8として出力できるソリューションはありますか？ 下から提案された1つのsol'nを編集します（ありがとう！） fp = open('brh-m-157.json','rw') s = fp.read() u = s.decode('utf-8-sig') s = u.encode('utf-8') print fp.encoding fp.write(s) これにより、次のエラーが発生します。 IOError: [Errno 9] Bad file descriptor ニュース速報 コメントで、「r +」/「r + b」ではなく「rw」モードでファイルを開くのが間違っていると言われているので、最終的に質問を再編集して、解決した部分を削除する必要があります。

82 python  utf-8  utf-16  byte-order-mark