非ASCII文字を1つのスペースに置き換えます

非ASCII（\ x00- \ x7F）のすべての文字をスペースに置き換える必要があります。私が何かを欠落していない限り、これはPythonでは簡単なことではないことに驚いています。次の関数は、すべての非ASCII文字を単に削除します。

def remove_non_ascii_1(text):

    return ''.join(i for i in text if ord(i)<128)

そして、これは非ASCII文字を文字コードポイントのバイト数に従ってスペースの量で–置き換えます（すなわち、文字は3つのスペースで置き換えられます）：

def remove_non_ascii_2(text):

    return re.sub(r'[^\x00-\x7F]',' ', text)

ASCII以外のすべての文字を1つのスペースに置き換えるにはどうすればよいですか？

無数の同様のSOの質問、なしのアドレス文字代替として反対するストリッピング、そしてさらにすべての非ASCII文字ではない、特定の文字取り組みます。

あなたの''.join()表現はフィルタリングであり、非ASCIIを削除します。代わりに条件式を使用できます。

return ''.join([i if ord(i) < 128 else ' ' for i in text])

これは文字を1つずつ処理し、置換された文字ごとに1つのスペースを使用します。

正規表現は、ASCII以外の連続する文字をスペースに置き換えるだけです。

re.sub(r'[^\x00-\x7F]+',' ', text)

+そこに注意してください。

あなたのためにあなたの元の文字列の最もよく似た表現を得るために私はunidecodeモジュールをお勧めします：

from unidecode import unidecode
def remove_non_ascii(text):
    return unidecode(unicode(text, encoding = "utf-8"))

次に、それを文字列で使用できます。

remove_non_ascii("Ceñía")
Cenia

以下の場合、文字処理、Unicode文字列を使用します。

PythonWin 3.3.0 (v3.3.0:bd8afb90ebf2, Sep 29 2012, 10:57:17) [MSC v.1600 64 bit (AMD64)] on win32.
>>> s='ABC马克def'
>>> import re
>>> re.sub(r'[^\x00-\x7f]',r' ',s)   # Each char is a Unicode codepoint.
'ABC  def'
>>> b = s.encode('utf8')
>>> re.sub(rb'[^\x00-\x7f]',rb' ',b) # Each char is a 3-byte UTF-8 sequence.
b'ABC      def'

ただし、文字列に分解されたUnicode文字が含まれている場合（たとえば、別々の文字や結合されたアクセント記号など）は依然として問題があることに注意してください。

>>> s = 'mañana'
>>> len(s)
6
>>> import unicodedata as ud
>>> n=ud.normalize('NFD',s)
>>> n
'mañana'
>>> len(n)
7
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # single codepoint
'ma ana'
>>> re.sub(r'[^\x00-\x7f]',r' ',n) # only combining mark replaced
'man ana'

置換文字が「？」の場合 スペースの代わりに、私はお勧めしresult = text.encode('ascii', 'replace').decode()ます：

"""Test the performance of different non-ASCII replacement methods."""


import re
from timeit import timeit


# 10_000 is typical in the project that I'm working on and most of the text
# is going to be non-ASCII.
text = 'Æ' * 10_000


print(timeit(
    """
result = ''.join([c if ord(c) < 128 else '?' for c in text])
    """,
    number=1000,
    globals=globals(),
))

print(timeit(
    """
result = text.encode('ascii', 'replace').decode()
    """,
    number=1000,
    globals=globals(),
))

結果：

0.7208260721400134
0.009975979187503592

これはどうですか？

def replace_trash(unicode_string):
     for i in range(0, len(unicode_string)):
         try:
             unicode_string[i].encode("ascii")
         except:
              #means it's non-ASCII
              unicode_string=unicode_string[i].replace(" ") #replacing it with a single space
     return unicode_string

ネイティブで効率的なアプローチとしてord、キャラクターをループしたり、キャラクターをループしたりする必要はありません。でエンコードしasciiてエラーを無視してください。

以下は、非ASCII文字を削除するだけです。

new_string = old_string.encode('ascii',errors='ignore')

削除した文字を置き換える場合は、次のようにします。

final_string = new_string + b' ' * (len(old_string) - len(new_string))

別の質問の可能性がありますが、@ Alveroの回答のバージョンを提供しています（ユニデコードを使用）。文字列、つまり空白文字の文字列の最初と最後に「通常の」ストリップを実行し、他の空白文字のみを「通常の」スペースに置き換えたい、つまり

"Ceñíaㅤmañanaㅤㅤㅤㅤ"

に

"Ceñía mañana"

、

def safely_stripped(s: str):
    return ' '.join(
        stripped for stripped in
        (bit.strip() for bit in
         ''.join((c if unidecode(c) else ' ') for c in s).strip().split())
        if stripped)

最初に、非Unicodeスペースをすべて通常のスペースに置き換えます（そして再び結合します）。

''.join((c if unidecode(c) else ' ') for c in s)

そして、Pythonの通常の分割でそれを再び分割し、各「ビット」を取り除きます。

(bit.strip() for bit in s.split())

そして最後にそれらを再び結合しますが、文字列がifテストに合格した場合のみ、

' '.join(stripped for stripped in s if stripped)

これで、がsafely_stripped('ㅤㅤㅤㅤCeñíaㅤmañanaㅤㅤㅤㅤ')正しく返されます'Ceñía mañana'。