Python、Unicode、およびWindowsコンソール

WindowsコンソールでUnicode文字列を印刷しようとすると、UnicodeEncodeError: 'charmap' codec can't encode character ....エラーが発生します。これは、WindowsコンソールがUnicodeのみの文字を受け入れないためだと思います。これを回避する最良の方法は何ですか？?この状況で失敗するのではなく、Pythonに自動的にを印刷させる方法はありますか？

編集： 私はPython 2.5を使用しています。

注：チェックマークの付いた@ LasseV.Karlsenの回答は（2008年から）少し古くなっています。以下の解決策/回答/提案を慎重に使用してください!!

@JFSebastianの回答は、今日（2016年1月6日）より関連性が高くなります。

注：この回答は古くなっています（2008年以降）。以下のソリューションを注意して使用してください!!

問題と解決策の詳細を示すページは次のとおりです（このページでテキストsys.stdoutをインスタンスにラッピングで検索してください）。

PrintFails-Python Wiki

そのページからのコードの抜粋を次に示します。

$ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line'
  UTF-8
  <type 'unicode'> 2
  Б
  Б

  $ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line' | cat
  None
  <type 'unicode'> 2
  Б
  Б

そのページには、さらに読む価値のあるいくつかの情報があります。

更新： Pythonの3.6実装PEP 528：UTF-8にエンコード変更Windowsコンソール：Windows上のデフォルトのコンソールは現在、すべてのUnicode文字を受け入れます。内部的には、下記のwin-unicode-consoleパッケージと同じUnicode APIを使用しています。print(unicode_string)今すぐ機能するはずです。

私が取得UnicodeEncodeError: 'charmap' codec can't encode character... エラー。

エラーは、印刷しようとしているUnicode文字が、現在の（chcp）コンソール文字エンコードを使用して表現できないことを意味します。コードページは、多くの場合、8ビットのエンコーディングでありcp437、1MのUnicode文字から0x100文字までしか表現できません。

>>> u "\ N {ユーロ記号}"。encode（ 'cp437'）
トレースバック（最新の呼び出しが最後）：
...
UnicodeEncodeError： 'charmap'コーデックは位置0の文字 '\ u20ac'をエンコードできません：
キャラクターマップ 

これは、WindowsコンソールがUnicodeのみの文字を受け入れないためだと思います。これを回避する最良の方法は何ですか？

WindowsコンソールはUnicode文字を受け入れ、対応するフォントが設定されている場合は、それらを表示することもできます（BMPのみ）。@Daira Hopwoodの回答でWriteConsoleW()提案されているように、APIを使用する必要があります。これは透過的に呼び出すことができます。つまり、win-unicode-consolepackageを使用する場合、スクリプトを変更する必要はなく、変更する必要もありません。

T:\> py -mpip install win-unicode-console
T:\> py -mrun your_script.py

参照のPython 3.4、ユニコード、異なる言語とWindowsとの契約は何？

?この状況で失敗するのではなく、Pythonに自動的にを印刷させる方法はありますか？

すべてのエンコードできない文字を?あなたのケースで置き換えるだけで十分な場合は、PYTHONIOENCODINGenvvarを設定できます：

T:\> set PYTHONIOENCODING=:replace
T:\> python3 -c "print(u'[\N{EURO SIGN}]')"
[?]

Python 3.6以降では、PYTHONIOENCODINGenvvarがPYTHONLEGACYWINDOWSIOENCODING空でない文字列に設定されていない限り、envvarで指定されたエンコーディングはインタラクティブコンソールバッファーでは無視されます。

コードページを65001に変更することを提案する他のもっともらしいサウンドの回答にもかかわらず、それは機能しません。（また、使用してエンコードするデフォルト値を変更することはsys.setdefaultencodingある良い考えではありません。）

参照してくださいこの質問内容及び作業を行うコードのために。

悪い文字の信頼できる表現を取得することに興味がない場合は、次のようなものを使用することができます（3.xを含むpython> = 2.6で作業します）。

from __future__ import print_function
import sys

def safeprint(s):
    try:
        print(s)
    except UnicodeEncodeError:
        if sys.version_info >= (3,):
            print(s.encode('utf8').decode(sys.stdout.encoding))
        else:
            print(s.encode('utf8'))

safeprint(u"\N{EM DASH}")

文字列内の不正な文字は、Windowsコンソールで印刷可能な表現に変換されます。

以下のコードは、WindowsでもPython出力をUTF-8としてコンソールに出力します。

コンソールはWindows 7では文字を適切に表示しますが、Windows XPでは適切に表示しませんが、少なくとも機能し、すべてのプラットフォームでスクリプトから一貫した出力を得ることが最も重要です。出力をファイルにリダイレクトできます。

以下のコードは、Windows上のPython 2.6でテストされました。

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import codecs, sys

reload(sys)
sys.setdefaultencoding('utf-8')

print sys.getdefaultencoding()

if sys.platform == 'win32':
    try:
        import win32console 
    except:
        print "Python Win32 Extensions module is required.\n You can download it from https://sourceforge.net/projects/pywin32/ (x86 and x64 builds are available)\n"
        exit(-1)
    # win32console implementation  of SetConsoleCP does not return a value
    # CP_UTF8 = 65001
    win32console.SetConsoleCP(65001)
    if (win32console.GetConsoleCP() != 65001):
        raise Exception ("Cannot set console codepage to 65001 (UTF-8)")
    win32console.SetConsoleOutputCP(65001)
    if (win32console.GetConsoleOutputCP() != 65001):
        raise Exception ("Cannot set console output codepage to 65001 (UTF-8)")

#import sys, codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
sys.stderr = codecs.getwriter('utf8')(sys.stderr)

print "This is an Е乂αmp١ȅ testing Unicode support using Arabic, Latin, Cyrillic, Greek, Hebrew and CJK code points.\n"

pythonスクリプトを実行する前に、このコードをコマンドラインに入力するだけです。

chcp 65001 & set PYTHONIOENCODING=utf-8

GiampaoloRodolàの答えと同様ですが、もっと汚いです。私は本当に、エンコーディングの主題全体とそれらがWindozeコンソールにどのように適用されるかを理解するために、長い間（すぐに）費やすつもりです。

今のところ、プログラムがクラッシュしないことを意味するsthgが欲しかったし、理解しました。また、あまりにも多くのエキゾチックなモジュールをインポートする必要がなかった（特に、Jythonを使用しているため、Pythonの半分の時間）モジュールは実際には利用可能ではないことがわかります）。

def pr(s):
    try:
        print(s)
    except UnicodeEncodeError:
        for c in s:
            try:
                print( c, end='')
            except UnicodeEncodeError:
                print( '?', end='')

NB "pr"は "print"よりもタイプが短い（そして "safeprint"よりもかなり短い）...！

Python 2の場合：

print unicode(string, 'unicode-escape')

Python 3の場合：

import os
string = "002 Could've Would've Should've"
os.system('echo ' + string)

またはwin-unicode-consoleを試してください：

pip install win-unicode-console
py -mrun your_script.py

TL; DR：

print(yourstring.encode('ascii','replace'));

私はこれに遭遇し、Twitchチャット（IRC）ボットに取り組んでいました。（Python 2.7最新）

応答するためにチャットメッセージを解析したかった...

msg = s.recv(1024).decode("utf-8")

しかし、人間が読める形式で安全にコンソールに出力します。

print(msg.encode('ascii','replace'));

これにより、ボットがUnicodeEncodeError: 'charmap'エラーをスローする問題が修正され、Unicode文字がに置き換えられました?。

あなたの問題の原因は、Unicodeを受け入れようとしないWinコンソールではありません（デフォルトでWin2kを推測しているため、これは可能です）。これはデフォルトのシステムエンコーディングです。このコードを試して、何が得られるかを確認してください。

import sys
sys.getdefaultencoding()

asciiと表示されている場合は、原因があります;-) sitecustomize.pyというファイルを作成してpythonパスの下に配置する必要があります（/usr/lib/python2.5/site-packagesの下に配置しますが、それはWin-それはc：\ python \ lib \ site-packagesなどです）、次の内容で：

import sys
sys.setdefaultencoding('utf-8')

そしておそらくあなたもあなたのファイルにエンコーディングを指定したいかもしれません：

# -*- coding: UTF-8 -*-
import sys,time

編集：詳細については、Dive into Pythonブックをご覧ください。

JFセバスチャンの回答に関連するようなものですが、もっと直接的です。

コンソール/ターミナルに出力するときにこの問題が発生している場合は、次のようにしてください。

>set PYTHONIOENCODING=UTF-8

Python 3.6 windows7：pythonコンソール（pythonロゴが付いている）またはwindowsコンソール（cmd.exeと書かれている）を使用して、pythonを起動する方法がいくつかあります。

Windowsコンソールでutf8文字を印刷できませんでした。utf-8文字を印刷すると、次のエラーが発生します。

OSError: [winError 87] The paraneter is incorrect 
Exception ignored in: (_io-TextIOwrapper name='(stdout)' mode='w' ' encoding='utf8') 
OSError: [WinError 87] The parameter is incorrect 

上の答えを理解しようとして失敗した後、私はそれが設定の問題にすぎないことを発見しました。コマンドコンソールウィンドウの上部を右クリックし、タブでfontlucidaコンソールを選択します。

ジェームス・スラックは尋ねました、

Pythonに自動的に印刷させる方法はありますか？この状況で失敗するのではなく？

他のソリューションでは、Windows環境を変更するか、Pythonの print()機能をます。以下の答えは、Sulakの要求を満たすために近づいています。

Windows 7では、Python 3.5は、 UnicodeEncodeError次のようにます。

    代わりに：     print(text)
    代替：     print(str(text).encode('utf-8'))

例外をスローする代わりに、Pythonは印刷不可能なUnicode文字を\ xNN 16進コードとして表示するようになりました。例：

  Halmalo n \ xe2 \ x80 \ x99 \ xc3 \ xa9tait plus qu \ xe2 \ x80 \ x99un point noir

の代わりに

  ハルマロネタイトプラスクアンポイントノワール

確かに、後者はceteris paribusが望ましいですが、それ以外の場合、前者は診断メッセージに対して完全に正確です。Unicodeをリテラルバイト値として表示するため、前者はエンコード/デコードの問題の診断にも役立ちます。

注：上記のstr()呼び出しが必要になるのは、そうしないencode()と、PythonがUnicode文字を数値のタプルとして拒否するためです。