Python:ISO-8859-1 / latin1からUTF-8への変換


87

電子メールモジュールを使用して、Quoted-printableからISO-8859-1にデコードされたこの文字列があります。これにより、「Äpple」(スウェーデン語でApple)に対応する「\ xC4pple」のような文字列が得られます。ただし、これらの文字列をUTF-8に変換することはできません。

>>> apple = "\xC4pple"
>>> apple
'\xc4pple'
>>> apple.encode("UTF-8")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0: ordinal not in     range(128)

私は何をすべきか?

回答:


122

最初にデコードしてから、エンコードしてみてください。

apple.decode('iso-8859-1').encode('utf8')

5
自分の言語(ポルトガル語)にエンコードする際に問題が発生したため、string.decode( 'iso-8859-1')。encode( 'latin1')が機能しました。また、私のpythonファイルの上に、私はこの#を持っている- -コーディング:ラテン-1 - -
Moon13

148

これは一般的な問題であるため、ここでは比較的詳細な図を示します。

非Unicode文字列(つまり、のuようなプレフィックスのない文字列u'\xc4pple')の場合、ネイティブエンコーディング(iso8859-1/ latin1謎めいたsys.setdefaultencoding関数で変更されていない限り)からunicodeにデコードしてから、必要な文字を表示できる文字セットにエンコードする必要があります。この場合はI 'お勧めしUTF-8ます。

まず、Python2.7の文字列とUnicodeのパターンを明らかにするのに役立つ便利なユーティリティ関数を次に示します。

>>> def tell_me_about(s): return (type(s), s)

プレーンストリング

>>> v = "\xC4pple" # iso-8859-1 aka latin1 encoded string

>>> tell_me_about(v)
(<type 'str'>, '\xc4pple')

>>> v
'\xc4pple'        # representation in memory

>>> print v
?pple             # map the iso-8859-1 in-memory to iso-8859-1 chars
                  # note that '\xc4' has no representation in iso-8859-1, 
                  # so is printed as "?".

iso8859-1文字列のデコード-プレーン文字列をUnicodeに変換します

>>> uv = v.decode("iso-8859-1")
>>> uv
u'\xc4pple'       # decoding iso-8859-1 becomes unicode, in memory

>>> tell_me_about(uv)
(<type 'unicode'>, u'\xc4pple')

>>> print v.decode("iso-8859-1")
Äpple             # convert unicode to the default character set
                  # (utf-8, based on sys.stdout.encoding)

>>> v.decode('iso-8859-1') == u'\xc4pple'
True              # one could have just used a unicode representation 
                  # from the start

もう少しイラスト—「Ä」付き

>>> u"Ä" == u"\xc4"
True              # the native unicode char and escaped versions are the same

>>> "Ä" == u"\xc4"  
False             # the native unicode char is '\xc3\x84' in latin1

>>> "Ä".decode('utf8') == u"\xc4"
True              # one can decode the string to get unicode

>>> "Ä" == "\xc4"
False             # the native character and the escaped string are
                  # of course not equal ('\xc3\x84' != '\xc4').

UTFへのエンコード

>>> u8 = v.decode("iso-8859-1").encode("utf-8")
>>> u8
'\xc3\x84pple'    # convert iso-8859-1 to unicode to utf-8

>>> tell_me_about(u8)
(<type 'str'>, '\xc3\x84pple')

>>> u16 = v.decode('iso-8859-1').encode('utf-16')
>>> tell_me_about(u16)
(<type 'str'>, '\xff\xfe\xc4\x00p\x00p\x00l\x00e\x00')

>>> tell_me_about(u8.decode('utf8'))
(<type 'unicode'>, u'\xc4pple')

>>> tell_me_about(u16.decode('utf16'))
(<type 'unicode'>, u'\xc4pple')

unicodeとUTFおよびlatin1の関係

>>> print u8
Äpple             # printing utf-8 - because of the encoding we now know
                  # how to print the characters

>>> print u8.decode('utf-8') # printing unicode
Äpple

>>> print u16     # printing 'bytes' of u16
���pple

>>> print u16.decode('utf16')
Äpple             # printing unicode

>>> v == u8
False             # v is a iso8859-1 string; u8 is a utf-8 string

>>> v.decode('iso8859-1') == u8
False             # v.decode(...) returns unicode

>>> u8.decode('utf-8') == v.decode('latin1') == u16.decode('utf-16')
True              # all decode to the same unicode memory representation
                  # (latin1 is iso-8859-1)

Unicodeの例外

 >>> u8.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0:
  ordinal not in range(128)

>>> u16.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0:
  ordinal not in range(128)

>>> v.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0:
  ordinal not in range(128)

特定のエンコーディング(latin-1、utf8、utf16)からユニコードに変換することでこれらを回避できu8.decode('utf8').encode('latin1')ます。

したがって、おそらく次の原則と一般化を描くことができます。

  • タイプstrはバイトのセットであり、Latin-1、UTF-8、UTF-16などのいくつかのエンコーディングの1つを持つことができます。
  • タイプunicodeは、任意の数のエンコーディング、最も一般的にはUTF-8およびlatin-1(iso8859-1)に変換できるバイトのセットです。
  • このprintコマンドには、エンコード用の独自のロジックsys.stdout.encodingあり、UTF-8に設定され、デフォルトで設定されています。
  • str別のエンコーディングに変換する前に、をユニコードにデコードする必要があります。

もちろん、Python3.xではこのすべての変更があります。

それが光っていることを願っています。

参考文献

そして、アーミン・ロンチャーによる非常に実例となる暴言:


12
このような詳細な説明を書くために時間を割いてくれてありがとう、stackoverflowで私が今までに見つけた最高の答えの1つ:)
ruyadorno 2012

5
ワオ。簡潔で、非常に理解しやすく、例によって説明されています。Intertubesを改善してくれてありがとう。
モンキーボソン2013

22

Python 3の場合:

bytes(apple,'iso-8859-1').decode('utf-8')

これを、utf-8ではなくiso-8859-1(VeÅ\x99ejnéなどの単語を表示)として誤ってエンコードされたテキストに使用しました。このコードは正しいバージョンのVeřejnéを生成します。


どこbytesから来たの?
alvas 2015年

1
ドキュメント:バイト。この質問とその回答も参照してください。
Michal Skop 2015年

3
ヘッダーが欠落しているか正しくないリクエストでダウンロードされたファイルの場合:r = requests.get(url)その後、直接設定がr.encoding = 'utf-8'機能しました
Michal Skop 2016

bytes.decodeメソッドのドキュメント。
マイク

10

Unicodeにデコードし、結果をUTF8にエンコードします。

apple.decode('latin1').encode('utf8')

0
concept = concept.encode('ascii', 'ignore') 
concept = MySQLdb.escape_string(concept.decode('latin1').encode('utf8').rstrip())

私はこれを行います、それが良いアプローチであるかどうかはわかりませんが、それは毎回機能します!!

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.