Python：文字列から\ xa0を削除しますか？

現在、Beautiful Soupを使用してHTMLファイルを解析し、を呼び出していますが、get_text()スペースを表す多くの\ xa0 Unicodeが残っているようです。Python 2.7でそれらすべてを削除し、スペースに変更する効率的な方法はありますか？より一般的な質問になると思いますが、Unicode形式を削除する方法はありますか？

line = line.replace(u'\xa0',' ')別のスレッドで提案されているように、を使用してみましたが、\ xa0がuに変更されたため、代わりに "u"がどこにでもあります。）：

編集：問題はによって解決されたようですがstr.replace(u'\xa0', ' ').encode('utf-8')、.encode('utf-8')何もせずに実行するreplace()と、たとえば\ xc2などの奇妙な文字が吐き出されます。誰かがこれを説明できますか？

\ xa0は実際にはLatin1（ISO 8859-1）の非改行スペースであり、chr（160）でもあります。スペースで置き換える必要があります。

string = string.replace(u'\xa0', u' ')

.encode（ 'utf-8'）の場合、ユニコードはutf-8にエンコードされます。つまり、すべてのユニコードは1〜4バイトで表すことができます。この場合、\ xa0は2バイトの\ xc2 \ xa0で表されます。

http://docs.python.org/howto/unicode.htmlを読んでください。

注意：2012年からこの回答、Pythonは移行しました。unicodedata.normalize今すぐ使用できます。

Pythonのunicodedataライブラリには便利なものがたくさんあります。それらの1つは.normalize()関数です。

試してください：

new_str = unicodedata.normalize("NFKD", unicode_str)

目的の結果が得られない場合は、上記のリンクに記載されている他の方法でNFKDを置き換えます。

行の最後で.strip（）を使用してみて line.strip()ください

いくつかの方法を試した後、要約すると、これが私のやり方です。以下は、解析されたHTML文字列から\ xa0文字を回避/削除する2つの方法です。

次のような生のhtmlがあるとします。

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

このHTML文字列を整理してみましょう。

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

上記のコードは、これらの文字\ xa0を文字列に生成します。それらを適切に削除するには、2つの方法を使用できます。

メソッド＃1（推奨）： 最初のメソッドは、BeautifulSoupのget_textメソッドで、ストリップ引数がTrueに設定されているため 、コードは次のようになります。

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

方法2： もう1つのオプションは、Pythonのライブラリunicodedataを使用することです

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

これらの方法についても、このブログで詳しく説明していますので、参考にしてください。

これを試して：

string.replace('\\xa0', ' ')

Pythonでsqlite3データベースからデータを取得する同じ問題に遭遇しました。上記の答えはうまくline = line.decode('ascii', 'ignore')いきませんでした（理由はわかりません）が、うまくいきました：しかし、私の目標は、\ xa0をスペースで置き換えるのではなく、削除することでした。

これは、Ned Batchelderによるこの非常に役立つUnicodeチュートリアルから入手しました。

印刷できない文字の問題を探している間、私はここに行きます。私はMySQLを使用UTF-8 general_ciし、ポーランド語を扱います。問題のある文字列については、次のように処理する必要があります。

text=text.replace('\xc2\xa0', ' ')

これは高速の回避策であり、おそらく正しいエンコーディング設定で何かを試す必要があります。

このコードを試してください

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0（Unicode）は、UTF-8では0xC2A0です。.encode('utf8')Unicode 0xA0を取得し、UTF-8の0xC2A0に置き換えます。したがって、0xC2sの出現...おそらく今気付いているように、エンコーディングは置き換えられていません。

スペース文字に相当するので、それを取り除きます

print(string.strip()) # no more xa0

Beautiful Soupではget_text()、テキストの最初と最後から空白を取り除くstripパラメーターを渡すことができます。\xa0文字列の先頭または末尾にある場合、これにより、またはその他の空白が削除されます。Beautiful Soupが空の文字列を置き換え、\xa0これで問題が解決しました。

mytext = soup.get_text(strip=True)

正規表現を使用したジェネリックバージョン（すべての制御文字が削除されます）：

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Pythonはそれをスペース文字のように認識するため、split引数なしで通常の空白で結合できます。

line = ' '.join(line.split())