これは一般的な問題であるため、ここでは比較的詳細な図を示します。
非Unicode文字列(つまり、のu
ようなプレフィックスのない文字列u'\xc4pple'
)の場合、ネイティブエンコーディング(iso8859-1
/ latin1
、謎めいたsys.setdefaultencoding
関数で変更されていない限り)からunicode
にデコードしてから、必要な文字を表示できる文字セットにエンコードする必要があります。この場合はI 'お勧めしUTF-8
ます。
まず、Python2.7の文字列とUnicodeのパターンを明らかにするのに役立つ便利なユーティリティ関数を次に示します。
>>> def tell_me_about(s): return (type(s), s)
プレーンストリング
>>> v = "\xC4pple"
>>> tell_me_about(v)
(<type 'str'>, '\xc4pple')
>>> v
'\xc4pple'
>>> print v
?pple
iso8859-1文字列のデコード-プレーン文字列をUnicodeに変換します
>>> uv = v.decode("iso-8859-1")
>>> uv
u'\xc4pple'
>>> tell_me_about(uv)
(<type 'unicode'>, u'\xc4pple')
>>> print v.decode("iso-8859-1")
Äpple
>>> v.decode('iso-8859-1') == u'\xc4pple'
True
もう少しイラスト—「Ä」付き
>>> u"Ä" == u"\xc4"
True
>>> "Ä" == u"\xc4"
False
>>> "Ä".decode('utf8') == u"\xc4"
True
>>> "Ä" == "\xc4"
False
UTFへのエンコード
>>> u8 = v.decode("iso-8859-1").encode("utf-8")
>>> u8
'\xc3\x84pple'
>>> tell_me_about(u8)
(<type 'str'>, '\xc3\x84pple')
>>> u16 = v.decode('iso-8859-1').encode('utf-16')
>>> tell_me_about(u16)
(<type 'str'>, '\xff\xfe\xc4\x00p\x00p\x00l\x00e\x00')
>>> tell_me_about(u8.decode('utf8'))
(<type 'unicode'>, u'\xc4pple')
>>> tell_me_about(u16.decode('utf16'))
(<type 'unicode'>, u'\xc4pple')
unicodeとUTFおよびlatin1の関係
>>> print u8
Äpple
>>> print u8.decode('utf-8')
Äpple
>>> print u16
���pple
>>> print u16.decode('utf16')
Äpple
>>> v == u8
False
>>> v.decode('iso8859-1') == u8
False
>>> u8.decode('utf-8') == v.decode('latin1') == u16.decode('utf-16')
True
Unicodeの例外
>>> u8.encode('iso8859-1')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0:
ordinal not in range(128)
>>> u16.encode('iso8859-1')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0:
ordinal not in range(128)
>>> v.encode('iso8859-1')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0:
ordinal not in range(128)
特定のエンコーディング(latin-1、utf8、utf16)からユニコードに変換することでこれらを回避できu8.decode('utf8').encode('latin1')
ます。
したがって、おそらく次の原則と一般化を描くことができます。
- タイプ
str
はバイトのセットであり、Latin-1、UTF-8、UTF-16などのいくつかのエンコーディングの1つを持つことができます。
- タイプ
unicode
は、任意の数のエンコーディング、最も一般的にはUTF-8およびlatin-1(iso8859-1)に変換できるバイトのセットです。
- この
print
コマンドには、エンコード用の独自のロジックがsys.stdout.encoding
あり、UTF-8に設定され、デフォルトで設定されています。
str
別のエンコーディングに変換する前に、をユニコードにデコードする必要があります。
もちろん、Python3.xではこのすべての変更があります。
それが光っていることを願っています。
参考文献
そして、アーミン・ロンチャーによる非常に実例となる暴言: