Pythonで文字列のエスケープシーケンスを処理する

ファイルまたはユーザーから入力を受け取ると、エスケープシーケンスを含む文字列が表示されることがあります。Pythonが文字列リテラルのエスケープシーケンスを処理するのと同じ方法でエスケープシーケンスを処理したいと思います。

たとえば、次のようにmyString定義されているとします。

>>> myString = "spam\\neggs"
>>> print(myString)
spam\neggs

これを行う関数が必要です（これを呼び出しますprocess）。

>>> print(process(myString))
spam
eggs

関数がPythonのすべてのエスケープシーケンスを処理できることが重要です（上のリンクの表にリストされています）。

Pythonはこれを行う関数を持っていますか？

正しいことは、「string-escape」コードを使用して文字列をデコードすることです。

>>> myString = "spam\\neggs"
>>> decoded_string = bytes(myString, "utf-8").decode("unicode_escape") # python3 
>>> decoded_string = myString.decode('string_escape') # python2
>>> print(decoded_string)
spam
eggs

ASTまたはevalを使用しないでください。文字列コーデックを使用する方がはるかに安全です。

unicode_escape 一般的には機能しません

string_escapeor unicode_escapeソリューションは一般的に機能しないことが判明しました。特に、実際のUnicodeの存在下では機能しません。

すべての非ASCII文字がエスケープされることが確実である場合（そして、最初の128文字を超えるものはすべて非ASCIIであることを覚えておいてunicode_escapeください）、あなたのために正しいことを行います。ただし、文字列にリテラルの非ASCII文字がすでにある場合、問題が発生します。

unicode_escape基本的に、バイトをUnicodeテキストに変換するように設計されています。しかし、多くの場所（たとえば、Pythonソースコード）では、ソースデータは既にUnicodeテキストです。

これが正しく機能する唯一の方法は、最初にテキストをバイトにエンコードすることです。UTF-8はすべてのテキストに適したエンコーディングであるため、機能するはずです。

次の例はPython 3にあるため、文字列リテラルはわかりやすくなっていますが、Python 2と3の両方でわずかに異なる表現で同じ問題が存在します。

>>> s = 'naïve \\t test'
>>> print(s.encode('utf-8').decode('unicode_escape'))
naïve   test

まあ、それは間違っています。

テキストをテキストにデコードするコーデックを使用するための新しい推奨方法は、codecs.decode直接呼び出すことです。それは役に立ちますか？

>>> import codecs
>>> print(codecs.decode(s, 'unicode_escape'))
naïve   test

どういたしまして。（また、上記はPython 2のUnicodeErrorです。）

unicode_escapeコーデックは、その名前にもかかわらず、すべての非ASCIIバイトはラテン1（ISO-8859-1）エンコーディングであると仮定することが判明しました。したがって、次のようにする必要があります。

>>> print(s.encode('latin-1').decode('unicode_escape'))
naïve    test

しかし、それはひどいです。これにより、Unicodeがまったく発明されていないかのように、256 Latin-1文字に制限されます。

>>> print('Ernő \\t Rubik'.encode('latin-1').decode('unicode_escape'))
UnicodeEncodeError: 'latin-1' codec can't encode character '\u0151'
in position 3: ordinal not in range(256)

正規表現を追加して問題を解決する

（驚いたことに、現在2つの問題はありません。）

必要なのは、unicode_escapeASCIIテキストであることが確実なものにのみデコーダを適用することです。特に、ASCIIテキストであることが保証されている有効なPythonエスケープシーケンスにのみ適用できることを確認できます。

計画は、正規表現を使用してエスケープシーケンスを見つけre.sub、それらをエスケープされていない値に置き換えるための引数として関数を使用することです。

import re
import codecs

ESCAPE_SEQUENCE_RE = re.compile(r'''
    ( \\U........      # 8-digit hex escapes
    | \\u....          # 4-digit hex escapes
    | \\x..            # 2-digit hex escapes
    | \\[0-7]{1,3}     # Octal escapes
    | \\N\{[^}]+\}     # Unicode characters by name
    | \\[\\'"abfnrtv]  # Single-character escapes
    )''', re.UNICODE | re.VERBOSE)

def decode_escapes(s):
    def decode_match(match):
        return codecs.decode(match.group(0), 'unicode-escape')

    return ESCAPE_SEQUENCE_RE.sub(decode_match, s)

そしてそれで：

>>> print(decode_escapes('Ernő \\t Rubik'))
Ernő     Rubik

Python 3の実際に正しい、便利な答え：

>>> import codecs
>>> myString = "spam\\neggs"
>>> print(codecs.escape_decode(bytes(myString, "utf-8"))[0].decode("utf-8"))
spam
eggs
>>> myString = "naïve \\t test"
>>> print(codecs.escape_decode(bytes(myString, "utf-8"))[0].decode("utf-8"))
naïve    test

に関する詳細codecs.escape_decode：

• codecs.escape_decode バイトツーバイトのデコーダです
• codecs.escape_decodeb"\\n"-> b"\n"、b"\\xce"-> などのASCIIエスケープシーケンスをデコードしb"\xce"ます。
• codecs.escape_decode は、バイトオブジェクトのエンコーディングを気にする必要はありませんが、エスケープされたバイトのエンコーディングは、残りのオブジェクトのエンコーディングと一致する必要があります。

バックグラウンド：

• @rspeerは正しいです：python3unicode_escapeの不適切なソリューションです。これは、unicode_escapeエスケープされたバイトをデコードし、次にバイトをUnicode文字列にデコードしますが、2番目の操作に使用するコーデックに関する情報を受信しないためです。
• @Jerubは正しいです。ASTやevalは避けてください。
• 私が最初に発見されたcodecs.escape_decodeからと、この答えは、「どのように私は.decodeん（ 『文字列エスケープ』）のpython3で？」。その答えが述べているように、その関数は現在python 3のために文書化されていません。

ast.literal_eval関数が近づくが、それは文字列が適切に最初に引用されることを期待します。

もちろん、Pythonのバックスラッシュエスケープの解釈は、文字列の引用方法（""vs r""vs u""、三重引用符など）に依存するため、ユーザー入力を適切な引用符で囲み、に渡したい場合がありますliteral_eval。引用符で囲むとliteral_eval、数値、タプル、辞書などが返されなくなります。

ユーザーが文字列をラップするつもりである型の引用符で囲まれていない引用符をユーザーが入力した場合でも、物事はトリッキーになるかもしれません。

これは悪いやり方ですが、文字列引数で渡されたエスケープされた8進数を解釈しようとするときに私にとってはうまくいきました。

input_string = eval('b"' + sys.argv[1] + '"')

evalとast.literal_evalの間に違いがあることは言及する価値があります（evalの方がはるかに安全ではありません）。Pythonのeval（）とast.literal_eval（）の比較を参照してください。

以下のコードは機能するはずです\ nは文字列に表示する必要があります。

import string

our_str = 'The String is \\n, \\n and \\n!'
new_str = string.replace(our_str, '/\\n', '/\n', 1)
print(new_str)