バイトを文字列に変換する

このコードを使用して、外部プログラムから標準出力を取得しています。

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]

communication（）メソッドはバイトの配列を返します。

>>> command_stdout
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

ただし、出力を通常のPython文字列として処理したいと思います。このように印刷できるように：

>>> print(command_stdout)
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

それがbinascii.b2a_qp（）メソッドの目的だと思っていましたが、試したところ、同じバイト配列が再び取得されました。

>>> binascii.b2a_qp(command_stdout)
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

バイト値を文字列に戻すにはどうすればよいですか？つまり、手動で行う代わりに「バッテリー」を使用します。そして、私はそれがPython 3で問題ないようにしたいと思います。

文字列を生成するには、bytesオブジェクトをデコードする必要があります。

>>> b"abcde"
b'abcde'

# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8") 
'abcde'

バイト文字列をデコードして、文字（Unicode）文字列に変換する必要があります。

Python 2の場合

encoding = 'utf-8'
'hello'.decode(encoding)

または

unicode('hello', encoding)

Python 3の場合

encoding = 'utf-8'
b'hello'.decode(encoding)

または

str(b'hello', encoding)

この方法は簡単だと思います：

>>> bytes_data = [112, 52, 52]
>>> "".join(map(chr, bytes_data))
'p44'

エンコーディングがわからない場合、バイナリ入力をPython 3およびPython 2互換の方法で文字列に読み込むには、古代のMS-DOS CP437エンコーディングを使用します。

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('cp437'))

エンコーディングは不明であるため、英語以外の記号がの文字に変換されることを期待してくださいcp437（英語の文字は、ほとんどのシングルバイトエンコーディングとUTF-8で一致するため、変換されません）。

これを取得する可能性があるため、任意のバイナリ入力をUTF-8にデコードすることは安全ではありません。

>>> b'\x00\x01\xffsd'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 2: invalid
start byte

同じことがlatin-1Python 2で一般的だった（デフォルトですか？）にも当てはまります。コードページレイアウトの不足しているポイントを参照してください。Pythonが悪名高いで窒息する場所ですordinal not in range。

UPDATE 20150604：Python 3がsurrogateescapeデータを損失やクラッシュなしにバイナリデータにエンコードするエラー戦略を持っているという噂がありますが[binary] -> [str] -> [binary]、パフォーマンスと信頼性の両方を検証するには変換テストが必要です。

UPDATE 20170116：Nearooのコメントのおかげで、backslashreplaceエラーハンドラーですべての不明なバイトをスラッシュエスケープする可能性もあります。これはPython 3でのみ機能するため、この回避策を使用しても、異なるバージョンのPythonから一貫性のない出力が得られます。

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('utf-8', 'backslashreplace'))

詳細については、PythonのUnicodeサポートを参照してください。

UPDATE 20170119：Python 2とPython 3の両方で機能するスラッシュエスケープデコードを実装することにしました。これはcp437ソリューションよりも遅くなるはずですが、すべてのPythonバージョンで同じ結果を生成するはずです。

# --- preparation

import codecs

def slashescape(err):
    """ codecs error handler. err is UnicodeDecode instance. return
    a tuple with a replacement for the unencodable part of the input
    and a position where encoding should continue"""
    #print err, dir(err), err.start, err.end, err.object[:err.start]
    thebyte = err.object[err.start:err.end]
    repl = u'\\x'+hex(ord(thebyte))[2:]
    return (repl, err.end)

codecs.register_error('slashescape', slashescape)

# --- processing

stream = [b'\x80abc']

lines = []
for line in stream:
    lines.append(line.decode('utf-8', 'slashescape'))

Python 3では、デフォルトのエンコーディングは"utf-8"なので、直接使用できます。

b'hello'.decode()

これは

b'hello'.decode(encoding="utf-8")

一方、Python 2では、エンコーディングはデフォルトでデフォルトの文字列エンコーディングになります。したがって、以下を使用する必要があります。

b'hello'.decode(encoding)

encoding必要なエンコーディングはどこですか。

注：キーワード引数のサポートはPython 2.7で追加されました。

私はあなたが実際にこれを望んでいると思います：

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>> command_text = command_stdout.decode(encoding='windows-1252')

Aaronの答えは正しかったですが、使用するエンコーディングを知っておく必要があります。そして、Windowsは「windows-1252」を使用していると思います。コンテンツに珍しい（非ASCII）文字が含まれている場合にのみ問題になりますが、違いが生じます。

ところで、それは事実ません、あなたがそれを指示しない限り、それはエンコーディングを知らないので、それは、それらの間の魔法に変換することはできません。問題は、Pythonはバイナリとテキストデータのための2つの異なる種類を使用して移動している理由です！あなたが知る唯一の方法は、Windowsのドキュメントを読む（またはここで読む）ことです。

universal_newlinesをTrueに設定します。

command_stdout = Popen(['ls', '-l'], stdout=PIPE, universal_newlines=True).communicate()[0]

一方で@Aaron Maenpaaの答えはただ働き、ユーザーが最近尋ねました：

もっと簡単な方法はありますか？'fhand.read（）。decode（ "ASCII"）' [...]とても長いです！

以下を使用できます。

command_stdout.decode()

decode()持っている標準の引数を：

codecs.decode(obj, encoding='utf-8', errors='strict')

バイトシーケンスをテキストとして解釈するには、対応する文字エンコーディングを知っている必要があります。

unicode_text = bytestring.decode(character_encoding)

例：

>>> b'\xc2\xb5'.decode('utf-8')
'µ'

lsコマンドは、テキストとして解釈できない出力を生成する場合があります。Unixのファイル名は、スラッシュb'/'とゼロ以外の任意のバイトシーケンスにすることができます b'\0'。

>>> open(bytes(range(0x100)).translate(None, b'\0/'), 'w').close()

レイズをコードUTF-8を使用してこのようなバイトスープを復号しようUnicodeDecodeError。

それは悪化する可能性があります。 互換性のない間違ったエンコーディングを使用すると、デコードがサイレントに失敗し、mojibakeが生成される場合があります。

>>> '—'.encode('utf-8').decode('cp1252')
'—'

データは破損していますが、プログラムは障害が発生したことを認識していません。

一般に、使用する文字エンコーディングはバイトシーケンス自体に埋め込まれていません。この情報は帯域外で伝達する必要があります。一部の結果は他の結果より可能性が高いため、文字エンコードを推測chardetできるモジュールが存在します。単一のPythonスクリプトは、異なる場所で複数の文字エンコーディングを使用する場合があります。

ls出力はos.fsdecode() 、デコードできないファイル名でも成功する関数を使用してPython文字列に変換できます（UNIXではエラーハンドラーを使用 sys.getfilesystemencoding()しsurrogateescapeます）。

import os
import subprocess

output = os.fsdecode(subprocess.check_output('ls'))

元のバイトを取得するには、を使用できますos.fsencode()。

universal_newlines=Trueパラメータを渡すと、がバイトのデコードにsubprocess使用 locale.getpreferredencoding(False)さcp1252れます。たとえば、Windows上にある場合があり ます。

オンザフライでバイトストリームをデコードするには、 例をio.TextIOWrapper() 使用できます。

コマンドによって、出力に異なる文字エンコーディングが使用される場合があります。たとえば、dir内部コマンド（cmd）でcp437が使用される場合があります。出力をデコードするには、エンコーディングを明示的に渡すことができます（Python 3.6+）：

output = subprocess.check_output('dir', shell=True, encoding='cp437')

ファイル名はos.listdir()（Windows Unicode APIを使用する）とは異なる場合があります。たとえば、Pythonのcp437コーデックマップ'\xb6'で置き換えて、U + 00B6（¶）の代わりに文字U + 0014を制御できます。任意のUnicode文字を含むファイル名をサポートするには、ASCII以外のUnicode文字を含む可能性があるPowerShell出力をPython文字列にデコードするをご覧ください。 '\x14'b'\x14'

この質問は実際にsubprocess出力について尋ねているのでPopen、（Python 3.6+で）エンコーディングキーワードを受け入れるので、より直接的なアプローチを利用できます。

>>> from subprocess import Popen, PIPE
>>> text = Popen(['ls', '-l'], stdout=PIPE, encoding='utf-8').communicate()[0]
>>> type(text)
str
>>> print(text)
total 0
-rw-r--r-- 1 wim badger 0 May 31 12:45 some_file.txt

他のユーザーの一般的な答えは、バイトをテキストにデコードすることです：

>>> b'abcde'.decode()
'abcde'

引数なしsys.getdefaultencoding()で使用されます。データがでない場合sys.getdefaultencoding()は、decode呼び出しでエンコードを明示的に指定する必要があります。

>>> b'caf\xe9'.decode('cp1250')
'café'

あなたがしようとすることによって以下を取得する必要がある場合decode()：

AttributeError： 'str'オブジェクトに属性 'decode'がありません

キャストで直接エンコードタイプを指定することもできます。

>>> my_byte_str
b'Hello World'

>>> str(my_byte_str, 'utf-8')
'Hello World'

Windowsシステムのデータ（\r\n行末を含む）を使用する場合、私の答えは

String = Bytes.decode("utf-8").replace("\r\n", "\n")

どうして？複数行のInput.txtでこれを試してください：

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8")
open("Output.txt", "w").write(String)

すべての行末が2倍（から\r\r\n）になり、余分な空行になります。Pythonのテキスト読み取り関数は通常、文字列のみを使用するように行末を正規化します\n。Windowsシステムからバイナリデータを受け取った場合、Pythonはそれを行う機会がありません。したがって、

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8").replace("\r\n", "\n")
open("Output.txt", "w").write(String)

元のファイルを複製します。

リストを整理する機能を作りました

def cleanLists(self, lista):
    lista = [x.strip() for x in lista]
    lista = [x.replace('\n', '') for x in lista]
    lista = [x.replace('\b', '') for x in lista]
    lista = [x.encode('utf8') for x in lista]
    lista = [x.decode('utf8') for x in lista]

    return lista

Pythonの3のために、これは非常に安全であるPython的に変換するためのアプローチbyteにはstring：

def byte_to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes): # Check if it's in bytes
        print(bytes_or_str.decode('utf-8'))
    else:
        print("Object not of byte type")

byte_to_str(b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n')

出力：

total 0
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

sysから—システム固有のパラメータと関数：

標準ストリームとの間でバイナリデータを読み書きするには、基になるバイナリバッファを使用します。たとえば、バイトをstdoutに書き込むには、を使用しますsys.stdout.buffer.write(b'abc')。

def toString(string):    
    try:
        return v.decode("utf-8")
    except ValueError:
        return string

b = b'97.080.500'
s = '97.080.500'
print(toString(b))
print(toString(s))

あなたのために特定の「シェルコマンドを実行して、バイトではなくテキストとして、その出力を得る」の場合、Pythonの3.7で、あなたが使用する必要があるsubprocess.runと渡すtext=True（同様のcapture_output=True出力をキャプチャします）

command_result = subprocess.run(["ls", "-l"], capture_output=True, text=True)
command_result.stdout  # is a `str` containing your program's stdout

text以前はと呼ばれていましたがuniversal_newlines、Python 3.7で変更されました（まあ、エイリアス化されています）。3.7より前のバージョンのPythonをサポートする場合は、universal_newlines=True代わりにtext=True

バイトに変換された文字列だけでなく、バ​​イトを変換したい場合：

with open("bytesfile", "rb") as infile:
    str = base64.b85encode(imageFile.read())

with open("bytesfile", "rb") as infile:
    str2 = json.dumps(list(infile.read()))

ただし、これはあまり効率的ではありません。2 MBの画像を9 MBに変換します。

これを試して

bytes.fromhex('c3a9').decode('utf-8')