Pythonユニコード文字列のアクセントを削除する最良の方法は何ですか？

PythonにUnicode文字列があり、すべてのアクセント（発音区別符号）を削除したいと思います。

私はJavaでこれを行うエレガントな方法をWebで見つけました：

1. Unicode文字列をその長い正規化された形式に変換します（文字と発音区別符号に別の文字を使用）
2. Unicodeタイプが「発音区別符号」であるすべての文字を削除します。

pyICUなどのライブラリをインストールする必要がありますか、それともpython標準ライブラリだけで可能ですか？そして、python 3はどうですか？

重要な注意：アクセント記号付き文字からアクセント記号なしの対応する文字への明示的なマッピングを含むコードは避けたいです。

Unidecodeはこれに対する正しい答えです。これは、任意のUnicode文字列をASCIIテキストで最も近い可能な表現に音訳します。

例：

accented_string = u'Málaga'
# accented_string is of type 'unicode'
import unidecode
unaccented_string = unidecode.unidecode(accented_string)
# unaccented_string contains 'Malaga'and is of type 'str'

これはどう：

import unicodedata
def strip_accents(s):
   return ''.join(c for c in unicodedata.normalize('NFD', s)
                  if unicodedata.category(c) != 'Mn')

これはギリシャ文字でも機能します。

>>> strip_accents(u"A \u00c0 \u0394 \u038E")
u'A A \u0394 \u03a5'
>>> 

文字カテゴリ「Mnは」の略Nonspacing_MarkMiniQuarkの答えにunicodedata.combiningに似ているが、（私はunicodedata.combining考えていなかったが、それはより明確だから、それは、おそらくよりよい解決策です）。

また、これらの操作により、テキストの意味が大幅に変わる可能性があることに注意してください。アクセント、ウムラウトなどは「装飾」ではありません。

私はこの答えをウェブで見つけました：

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    only_ascii = nfkd_form.encode('ASCII', 'ignore')
    return only_ascii

これは問題なく動作しますが（フランス語など）、2番目のステップ（アクセントの削除）は、一部の言語（ギリシャ語など）で失敗するため、非ASCII文字を削除するよりもうまく処理できると思います。最良の解決策は、おそらく発音区別符号としてタグ付けされたUnicode文字を明示的に削除することです。

編集：これはトリックを行います：

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)])

unicodedata.combining(c)文字cを前の文字と組み合わせることができる場合、つまり、主に発音区別符号の場合、trueを返します。

編集2：remove_accents期待したUnicode文字列ではなく、バイト文字列を。バイト文字列がある場合は、次のようなUnicode文字列にデコードする必要があります。

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use
byte_string = b"café"  # or simply "café" before python 3.
unicode_string = byte_string.decode(encoding)

実際、私はプロジェクト互換のpython 2.6、2.7、3.4で作業しており、無料のユーザーエントリからIDを作成する必要があります。

おかげで、私は不思議に機能するこの関数を作成しました。

import re
import unicodedata

def strip_accents(text):
    """
    Strip accents from input String.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    try:
        text = unicode(text, 'utf-8')
    except (TypeError, NameError): # unicode is a default on python 3 
        pass
    text = unicodedata.normalize('NFD', text)
    text = text.encode('ascii', 'ignore')
    text = text.decode("utf-8")
    return str(text)

def text_to_id(text):
    """
    Convert input text to id.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    text = strip_accents(text.lower())
    text = re.sub('[ ]+', '_', text)
    text = re.sub('[^0-9a-zA-Z_-]', '', text)
    return text

結果：

text_to_id("Montréal, über, 12.89, Mère, Françoise, noël, 889")
>>> 'montreal_uber_1289_mere_francoise_noel_889'

これはアクセントだけでなく、「ストローク」（øなど）も処理します。

import unicodedata as ud

def rmdiacritics(char):
    '''
    Return the base character of char, by "removing" any
    diacritics like accents or curls and strokes and the like.
    '''
    desc = ud.name(char)
    cutoff = desc.find(' WITH ')
    if cutoff != -1:
        desc = desc[:cutoff]
        try:
            char = ud.lookup(desc)
        except KeyError:
            pass  # removing "WITH ..." produced an invalid name
    return char

これは私が考えることができる最もエレガントな方法です（そしてそれはこのページのコメントでアレクシスによって言及されました）確かにそれは非常にエレガントではないと思います。実際、Unicodeの名前は実際には単なる名前であり、一貫性などを保証するものではないため、コメントで指摘されているように、これはハックのようなものです。

unicode名に 'WITH'が含まれていないため、回転文字や反転文字など、これによって処理されない特殊文字がまだあります。それはとにかく何をしたいかに依存します。辞書の並べ替え順序を実現するために時々アクセントの除去が必要でした。

ノートの編集：

コメントから組み込まれた提案（ルックアップエラーの処理、Python-3コード）。

@MiniQuarkの答えに応じて：

私は半分フランス語（アクセントを含む）のcsvファイルと、最終的に整数と浮動小数点になる文字列を読み込もうとしていました。テストとして、次のtest.txtようなファイルを作成しました。

モントリオール、über、12.89、Mère、Françoise、noël、889

@Jabbaのコメントを組み込むだけでなく、（Pythonチケットで見つけた）行を含め2て機能3させる必要がありました。

import sys 
reload(sys) 
sys.setdefaultencoding("utf-8")
import csv
import unicodedata

def remove_accents(input_str):
    nkfd_form = unicodedata.normalize('NFKD', unicode(input_str))
    return u"".join([c for c in nkfd_form if not unicodedata.combining(c)])

with open('test.txt') as f:
    read = csv.reader(f)
    for row in read:
        for element in row:
            print remove_accents(element)

結果：

Montreal
uber
12.89
Mere
Francoise
noel
889

（注：私はMac OS X 10.8.4を使用していて、Python 2.7.3を使用しています）

gensim.utils.deaccent（テキスト）からGensim -人間のためのトピックモデリング：

'Sef chomutovskych komunistu dostal postou bily prasek'

別の解決策はユニコードですです。

提案された解決策という注意のUnicodeDataは、一般的に（例えば、それが変わるだけで、いくつかの文字にアクセントを削除'ł'へ''というに比べ、'l'）。

一部の言語では、発音区別符号を言語文字として組み合わせ、アクセント発音区別符号を使用してアクセントを指定しています。

ストリップしたいダイアトリクスを明示的に指定する方が安全だと思います。

def strip_accents(string, accents=('COMBINING ACUTE ACCENT', 'COMBINING GRAVE ACCENT', 'COMBINING TILDE')):
    accents = set(map(unicodedata.lookup, accents))
    chars = [c for c in unicodedata.normalize('NFD', string) if c not in accents]
    return unicodedata.normalize('NFC', ''.join(chars))