Pythonでstdoutをパイプするときに正しいエンコーディングを設定する

Pythonプログラムの出力をパイプ処理すると、Pythonインタープリターはエンコードについて混乱し、それをNoneに設定します。これは、次のようなプログラムを意味します。

# -*- coding: utf-8 -*-
print u"åäö"

正常に実行すると正常に動作しますが、次で失敗します：

UnicodeEncodeError： 'ascii'コーデックは位置0の文字u '\ xa0'をエンコードできません：序数が範囲（128）にありません

パイプシーケンスで使用する場合。

配管時にこれを機能させる最良の方法は何ですか？シェル/ファイルシステム/使用しているエンコーディングを使用するように指示することはできますか？

これまで見てきた提案は、site.pyを直接変更するか、このハックを使用してdefaultencodingをハードコーディングすることです。

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print u"åäö"

配管を機能させるより良い方法はありますか？

Pythonは出力をターミナルアプリケーションが使用しているエンコードにエンコードするため、コードはスクリプトで実行すると機能します。パイピングする場合は、自分でエンコードする必要があります。

原則として、常に内部的にUnicodeを使用します。受信したものをデコードし、送信したものをエンコードします。

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

もう1つの教訓的な例は、ISO-8859-1とUTF-8の間で変換し、すべてを大文字にするPythonプログラムです。

import sys
for line in sys.stdin:
    # Decode what you receive:
    line = line.decode('iso8859-1')

    # Work with Unicode internally:
    line = line.upper()

    # Encode what you send:
    line = line.encode('utf-8')
    sys.stdout.write(line)

使用する一部のモジュールとライブラリはASCIIであるという事実に依存する可能性があるため、システムのデフォルトのエンコーディングを設定することは悪い考えです。しないでください。

まず、このソリューションについて：

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

毎回特定のエンコーディングで明示的に印刷することは現実的ではありません。これは繰り返しが多く、エラーが発生しやすくなります。

より良い解決策はsys.stdout、プログラムの開始時に変更し、選択したエンコーディングでエンコードすることです。ここに私がPythonで見つけた1つの解決策があります：sys.stdout.encodingはどのように選択されますか？、特に「toka」によるコメント：

import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)

環境変数「PYTHONIOENCODING」を「utf_8」に変更してみてください。私はこの問題について私の試練にページを書きました。

ブログ投稿のTl; dr：

import sys, locale, os
print(sys.stdout.encoding)
print(sys.stdout.isatty())
print(locale.getpreferredencoding())
print(sys.getfilesystemencoding())
print(os.environ["PYTHONIOENCODING"])
print(chr(246), chr(9786), chr(9787))

あなたにあげる

utf_8
False
ANSI_X3.4-1968
ascii
utf_8
ö ☺ ☻

export PYTHONIOENCODING=utf-8

仕事をしますが、Python自体には設定できません...

できることは、が設定されていないかどうかを確認し、次のコマンドを使用してスクリプトを呼び出す前に設定するようユーザーに指示することです。

if __name__ == '__main__':
    if (sys.stdout.encoding is None):
        print >> sys.stderr, "please set python env PYTHONIOENCODING=UTF-8, example: export PYTHONIOENCODING=UTF-8, when write to stdout."
        exit(1)

コメントに返信するための更新：stdoutにパイプするときに問題が発生するだけです。Fedora 25 Python 2.7.13でテストしました

python --version
Python 2.7.13

猫b.py

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import sys

print sys.stdout.encoding

./b.pyの実行

UTF-8

./b.pyを実行する| もっと少なく

None

先週も同様の問題がありました。私のIDE（PyCharm）で修正するのは簡単でした。

ここに私の修正がありました：

PyCharmメニューバーから開始：ファイル->設定...->エディター->ファイルエンコーディング、次に設定：「IDEエンコーディング」、「プロジェクトエンコーディング」、および「プロパティファイルのデフォルトエンコーディング」すべてをUTF-8に設定すると、彼女は機能するようになりました魔法のように。

お役に立てれば！

クレイグ・マックイーンの回答の議論の余地のある無害化バージョン。

import sys, codecs
class EncodedOut:
    def __init__(self, enc):
        self.enc = enc
        self.stdout = sys.stdout
    def __enter__(self):
        if sys.stdout.encoding is None:
            w = codecs.getwriter(self.enc)
            sys.stdout = w(sys.stdout)
    def __exit__(self, exc_ty, exc_val, tb):
        sys.stdout = self.stdout

使用法：

with EncodedOut('utf-8'):
    print u'ÅÄÖåäö'

次の呼び出しで「自動化」できます。

def __fix_io_encoding(last_resort_default='UTF-8'):
  import sys
  if [x for x in (sys.stdin,sys.stdout,sys.stderr) if x.encoding is None] :
      import os
      defEnc = None
      if defEnc is None :
        try:
          import locale
          defEnc = locale.getpreferredencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.getfilesystemencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.stdin.encoding
        except: pass
      if defEnc is None :
        defEnc = last_resort_default
      os.environ['PYTHONIOENCODING'] = os.environ.get("PYTHONIOENCODING",defEnc)
      os.execvpe(sys.argv[0],sys.argv,os.environ)
__fix_io_encoding() ; del __fix_io_encoding

はい、この「setenv」が失敗した場合、無限ループが発生する可能性があります。

何が起こっているのかをようやく気付く前に、ここで長い間実験に費やさなければならなかった何かをここで言及したいと思っただけです。これは、ここにいるすべての人にとって非常に明白であるため、言及することに煩わされていません。しかし、もし彼らが持っていれば、それは私を助けたでしょう、それでその原則に関して...！

注意：私は特にJython v 2.7 を使用しているので、これがCPythonに適用されない可能性があります...

NB2：.pyファイルの最初の2行は次のとおりです。

# -*- coding: utf-8 -*-
from __future__ import print_function

"％"（別名 "補間演算子"）文字列構築メカニズムは、追加の問題も引き起こします... "環境"のデフォルトのエンコーディングがASCIIで、次のようなことを行おうとした場合

print( "bonjour, %s" % "fréd" )  # Call this "print A"

Eclipseで実行しても問題はありません... Windows CLI（DOSウィンドウ）では、コード化はコードページ850（私のWindows 7 OS）またはそれに似たものであり、少なくともヨーロッパのアクセント付き文字を処理できます。動作します。

print( u"bonjour, %s" % "fréd" ) # Call this "print B"

も動作します。

OTOHの場合、CLIからファイルを送信すると、標準出力のエンコーディングはNoneになり、デフォルトではASCIIになり（私のOSではとにかく）、上記のいずれの印刷も処理できません...エラー）。

だからあなたはあなたのstdoutを使ってリダイレクトすることを考えるかもしれません

sys.stdout = codecs.getwriter('utf8')(sys.stdout)

ファイルへのパイピングをCLIで実行してみてください...非常に奇妙なことに、上の印刷Aは機能します...しかし、上の印刷Bはエンコードエラーをスローします！ただし、以下は問題なく機能します。

print( u"bonjour, " + "fréd" ) # Call this "print C"

私が（暫定的に）結論に達したのは、 "u"プレフィックスを使用してUnicode文字列として指定された文字列が％-handlingメカニズムに送信されると、デフォルトの環境エンコーディングの使用に関係なく、 stdoutをリダイレクトするように設定しているかどうか！

人々がこれをどのように扱うかは選択の問題です。これがなぜ起こるのか、何か間違っているのか、これに対する好ましい解決策、それがCPythonにも当てはまるのか、Python 3で起こるのかなどなど、Unicodeの専門家に歓迎します。

レガシーアプリケーションでこの問題に遭遇し、印刷された場所を特定するのが困難でした。私はこのハックで自分自身を助けました：

# encoding_utf8.py
import codecs
import builtins


def print_utf8(text, **kwargs):
    print(str(text).encode('utf-8'), **kwargs)


def print_utf8(fn):
    def print_fn(*args, **kwargs):
        return fn(str(*args).encode('utf-8'), **kwargs)
    return print_fn


builtins.print = print_utf8(print)

スクリプトの上にtest.py：

import encoding_utf8
string = 'Axwell Λ Ingrosso'
print(string)

これにより、エンコーディングを使用するようにprintへのすべての呼び出しが変更されるため、コンソールはこれを出力します。

$ python test.py
b'Axwell \xce\x9b Ingrosso'

Windowsでは、エディターから（Sublime Textなどの）Pythonコードを実行するときにこの問題が頻繁に発生しましたが、コマンドラインから実行する場合はそうではありませんでした。

この場合は、エディターのパラメーターを確認してください。SublimeTextの場合、これはPython.sublime-buildそれを解決しました：

{
  "cmd": ["python", "-u", "$file"],
  "file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
  "selector": "source.python",
  "encoding": "utf8",
  "env": {"PYTHONIOENCODING": "utf-8", "LANG": "en_US.UTF-8"}
}