文字列を有効なファイル名に変換しますか？

ファイル名として使用したい文字列があるので、Pythonを使用して、ファイル名に使用できない文字をすべて削除したいと思います。

それ以外の場合よりも厳密にしたいので、文字、数字、およびその他の文字の小さなセットのみを保持したいとします。 "_-.() "ます。最もエレガントなソリューションは何ですか？

ファイル名は、複数のオペレーティングシステム（Windows、Linux、Mac OS）で有効である必要があります。これは、ライブラリ内のMP3ファイルで、曲名をファイル名とし、3台のマシン間で共有およびバックアップされます。

あなたはDjangoフレームワークを見ることができます、彼らは任意のテキストから「スラグ」を作成する方法について。slugはURLおよびファイル名に対応しています。

Django text utilsは関数を定義しますslugify()。これはおそらく、この種のもののゴールドスタンダードです。基本的に、それらのコードは次のとおりです。

def slugify(value):
    """
    Normalizes string, converts to lowercase, removes non-alpha characters,
    and converts spaces to hyphens.
    """
    import unicodedata
    value = unicodedata.normalize('NFKD', value).encode('ascii', 'ignore')
    value = unicode(re.sub('[^\w\s-]', '', value).strip().lower())
    value = unicode(re.sub('[-\s]+', '-', value))
    # ...
    return value

まだまだありますが、スラッグ化については取り上げていないので省略しましたが、エスケープしています。

このホワイトリストのアプローチ（つまり、valid_charsに存在する文字のみを許可する）は、ファイルの形式または無効な有効な文字の組み合わせ（「..」など）に制限がない場合、たとえば次のように機能します「。txt」という名前のファイル名を許可しますが、Windowsでは有効ではないと思います。これは、valid_charsから空白を削除し、エラーが発生した場合に既知の有効な文字列を付加しようとする最も単純なアプローチであるため、他のアプローチでは、Windowsファイルの名前の制限に対処するために何が許可されているかを知る必要があります。はるかに複雑です。

>>> import string
>>> valid_chars = "-_.() %s%s" % (string.ascii_letters, string.digits)
>>> valid_chars
'-_.() abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'
>>> filename = "This Is a (valid) - filename%$&$ .txt"
>>> ''.join(c for c in filename if c in valid_chars)
'This Is a (valid) - filename .txt'

リスト内包表記を文字列メソッドと一緒に使用できます。

>>> s
'foo-bar#baz?qux@127/\\9]'
>>> "".join(x for x in s if x.isalnum())
'foobarbazqux1279'

文字列をファイル名として使用する理由は何ですか？人間の可読性が要因ではない場合は、ファイルシステムの安全な文字列を生成できるbase64モジュールを使用します。読み取りはできませんが、衝突に対処する必要はなく、元に戻すことができます。

import base64
file_name_string = base64.urlsafe_b64encode(your_string)

更新：マシューのコメントに基づいて変更されました。

さらに複雑にするために、無効な文字を削除するだけで有効なファイル名を取得できるとは限りません。許可される文字はファイル名によって異なるため、保守的な方法では、有効な名前が無効な名前に変わる可能性があります。次のような場合には、特別な処理を追加することができます。

• 文字列はすべて無効な文字です（空の文字列のままにします）

• あなたは特別な意味を持つ文字列、例えば "。"になってしまいます。または「..」

• Windowsでは、特定のデバイス名が予約されています。たとえば、「nul」、「nul.txt」（または実際にはnul.anything）という名前のファイルを作成することはできません。予約されている名前は次のとおりです。

  CON、PRN、AUX、NUL、COM1、COM2、COM3、COM4、COM5、COM6、COM7、COM8、COM9、LPT1、LPT2、LPT3、LPT4、LPT5、LPT6、LPT7、LPT8、およびLPT9

これらの問題のいずれにも該当しないファイル名の前に文字列を追加し、無効な文字を削除することにより、これらの問題を回避できます。

Githubにはpython-slugifyという素晴らしいプロジェクトがあります。

インストール：

pip install python-slugify

次に使用します：

>>> from slugify import slugify
>>> txt = "This\ is/ a%#$ test ---"
>>> slugify(txt)
'this-is-a-test'

S.Lottが答えたように、文字列を有効なファイル名に変換する方法についてDjango Frameworkを見ることができます。

最新の最新バージョンはutils / text.pyにあり、次のような「get_valid_filename」を定義しています。

def get_valid_filename(s):
    s = str(s).strip().replace(' ', '_')
    return re.sub(r'(?u)[^-\w.]', '', s)

（https://github.com/django/django/blob/master/django/utils/text.pyを参照してください）

これは私が最終的に使用したソリューションです：

import unicodedata

validFilenameChars = "-_.() %s%s" % (string.ascii_letters, string.digits)

def removeDisallowedFilenameChars(filename):
    cleanedFilename = unicodedata.normalize('NFKD', filename).encode('ASCII', 'ignore')
    return ''.join(c for c in cleanedFilename if c in validFilenameChars)

unicodedata.normalize呼び出しは、アクセント付き文字をアクセントなしの同等のものに置き換えます。これは、単にそれらを取り除くよりも優れています。その後、許可されていない文字はすべて削除されます。

私のソリューションでは、許可されていない可能性のあるファイル名を回避するために、既知の文字列を先頭に追加していません。より一般的なソリューションでは、そうする必要があります。

覚えておいてください、実際にはUnixシステム以外のファイル名には制限がありません。

• \ 0が含まれていない可能性があります
• /が含まれていない可能性があります

他のすべては公正なゲームです。

$タッチ "
>複数行
>はは
> ^ [[31m赤^ [[0m
>悪」
$ ls -la 
-rw-r--r-- 0 Nov 17 23:39？even multiline？haha ?? [31m red？[0m？evil
$ ls -lab
-rw-r--r-- 0 Nov 17 23:39 \ neven \ multiline \ nhaha \ n \ 033 [31m \ red \ \ 033 [0m \ nevil
$ perl -e '私の$ i（glob（q {./* even *}））{print $ i; } '
./
複数行でも
ははは
 赤 
悪の

はい、ANSIカラーコードをファイル名に保存して有効にしました。

エンターテインメントの場合は、ディレクトリ名にBELキャラクターを入れて、CDに入れるときに続く楽しみを見てください;）

1行で：

valid_file_name = re.sub('[^\w_.)( -]', '', any_string)

'_'文字を入れて読みやすくすることもできます（たとえば、スラッシュを置き換える場合）

re.sub（）メソッドを使用して、「ファイルライク」ではないものを置き換えることができます。しかし実際には、すべての文字が有効である可能性があります。だから、それを成し遂げるためのビルド済みの関数（私は信じています）はありません。

import re

str = "File!name?.txt"
f = open(os.path.join("/tmp", re.sub('[^-a-zA-Z0-9_.() ]+', '', str))

/tmp/filename.txtへのファイルハンドルになります。

>>> import string
>>> safechars = bytearray(('_-.()' + string.digits + string.ascii_letters).encode())
>>> allchars = bytearray(range(0x100))
>>> deletechars = bytearray(set(allchars) - set(safechars))
>>> filename = u'#ab\xa0c.$%.txt'
>>> safe_filename = filename.encode('ascii', 'ignore').translate(None, deletechars).decode()
>>> safe_filename
'abc..txt'

空の文字列、特別なファイル名（「nul」、「con」など）は処理しません。

注意する必要がありますが。あなたがラテン語だけを見ているなら、それはあなたのイントロではっきりと言われていません。ASCII文字のみでサニタイズすると、一部の単語が無意味になったり別の意味になったりする可能性があります。

あなたが「For potPoésie」（森の詩）を持っていると想像してみてください、あなたのサニタイズは「fort-posie」（強い+意味のない何か）を与えるかもしれません

漢字を扱う必要がある場合はさらに悪い。

"下北沢"システムは "---"を実行する可能性があり、しばらくすると失敗することが運命的であり、あまり役に立ちません。したがって、ファイルのみを扱う場合は、ユーザーが制御する汎用チェーンと呼ぶか、文字をそのままにしておくことをお勧めします。URIについては、ほぼ同じです。

「osopen」をtry / exceptでラップし、基礎となるOSにファイルが有効かどうかを整理させないのはなぜですか？

これは作業がはるかに少ないようで、どのOSを使用しても有効です。

他のコメントがまだ対処していないもう1つの問題は、空の文字列です。これは明らかに有効なファイル名ではありません。また、空の文字列が多すぎる文字を削除してしまうこともあります。

Windowsで予約されているファイル名とドットの問題で、「任意のユーザー入力から有効なファイル名を正規化するにはどうすればよいですか？」それを回避する他の方法を見つけることができる場合（たとえば、データベースの整数主キーをファイル名として使用するなど）は、「気にしないでください」です。

必要な場合、スペースと「。」を本当に許可する必要があります。名前の一部としてファイル拡張子を使用するには、次のようにします。

import re
badchars= re.compile(r'[^A-Za-z0-9_. ]+|^\.|\.$|^ | $|^$')
badnames= re.compile(r'(aux|com[1-9]|con|lpt[1-9]|prn)(\.|$)')

def makeName(s):
    name= badchars.sub('_', s)
    if badnames.match(name):
        name= '_'+name
    return name

これは、特に予期しないOSでは正しく保証されません。たとえば、RISC OSはスペースを嫌い、「。」を使用します。ディレクトリセパレータとして。

私はここでpython-slugifyアプローチが好きでしたが、望まれない望ましくない点もドットを取り除いていました。だから私はこの方法でs3にきれいなファイル名をアップロードするためにそれを最適化しました：

pip install python-slugify

コード例：

s = 'Very / Unsafe / file\nname hähä \n\r .txt'
clean_basename = slugify(os.path.splitext(s)[0])
clean_extension = slugify(os.path.splitext(s)[1][1:])
if clean_extension:
    clean_filename = '{}.{}'.format(clean_basename, clean_extension)
elif clean_basename:
    clean_filename = clean_basename
else:
    clean_filename = 'none' # only unclean characters

出力：

>>> clean_filename
'very-unsafe-file-name-haha.txt'

これはフェイルセーフなので、拡張子のないファイル名でも機能し、危険な文字のファイル名でも機能します（結果はnoneこちら）。

Python 3.6用に変更された回答

import string
import unicodedata

validFilenameChars = "-_.() %s%s" % (string.ascii_letters, string.digits)
def removeDisallowedFilenameChars(filename):
    cleanedFilename = unicodedata.normalize('NFKD', filename).encode('ASCII', 'ignore')
    return ''.join(chr(c) for c in cleanedFilename if chr(c) in validFilenameChars)

答えはたくさんあると思いますが、ほとんどが正規表現や外部モジュールに依存しているので、自分で答えたいと思います。純粋なpython関数、外部モジュールは不要、正規表現は使用されません。私のアプローチは、無効な文字を削除するのではなく、有効な文字のみを許可することです。

def normalizefilename(fn):
    validchars = "-_.() "
    out = ""
    for c in fn:
      if str.isalpha(c) or str.isdigit(c) or (c in validchars):
        out += c
      else:
        out += "_"
    return out    

必要に応じて、独自の有効な文字を validchars、英語のアルファベットには存在しない国の文字など変数の先頭に。これは、あなたが望むかもしれないし、望まないかもしれません。UTF-8で実行されない一部のファイルシステムは、非ASCII文字でまだ問題を抱えている可能性があります。

この関数は、単一のファイル名の有効性をテストするため、無効な文字を考慮してパス区切り文字を_に置き換えます。これを追加したい場合ifは、OSパス区切り文字を含めるようにを変更するのは簡単です。

これらのソリューションのほとんどは機能しません。

'/ hello / world'-> 'helloworld'

'/ helloworld' /-> 'helloworld'

これは一般的に必要なことではありません。たとえば、リンクごとにhtmlを保存すると、別のWebページのhtmlが上書きされることになります。

私は次のような辞書を漬けます：

{'helloworld': 
    (
    {'/hello/world': 'helloworld', '/helloworld/': 'helloworld1'},
    2)
    }

2は、次のファイル名に追加する必要がある番号を表します。

辞書から毎回ファイル名を調べます。ない場合は、新しいものを作成し、必要に応じて最大数を追加します。

正確にはOPが求めていたものではありませんが、これは私が使用するものです。これは、ユニークで可逆的な変換が必要だからです。

# p3 code
def safePath (url):
    return ''.join(map(lambda ch: chr(ch) if ch in safePath.chars else '%%%02x' % ch, url.encode('utf-8')))
safePath.chars = set(map(lambda x: ord(x), '0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz+-_ .'))

結果は、少なくともsysadminの観点からは、「ある程度」読み取り可能です。

パッケージのインストールを気にしない場合、これは便利です：https : //pypi.org/project/pathvalidate/

https://pypi.org/project/pathvalidate/#sanitize-a-filenameから：

from pathvalidate import sanitize_filename

fname = "fi:l*e/p\"a?t>h|.t<xt"
print(f"{fname} -> {sanitize_filename(fname)}\n")
fname = "\0_a*b:c<d>e%f/(g)h+i_0.txt"
print(f"{fname} -> {sanitize_filename(fname)}\n")

出力

fi:l*e/p"a?t>h|.t<xt -> filepath.txt
_a*b:c<d>e%f/(g)h+i_0.txt -> _abcde%f(g)h+i_0.txt

ループしている文字列を変更するので、これは素晴らしい答えではないと確信していますが、問題なく動作するようです。

import string
for chr in your_string:
 if chr == ' ':
   your_string = your_string.replace(' ', '_')
 elif chr not in string.ascii_letters or chr not in string.digits:
    your_string = your_string.replace(chr, '')

更新

この6年前の回答では、すべてのリンクが修復できないほど壊れています。

また、私もこの方法でこれをやるつもりはありません。 base64安全でない文字をエンコードまたはドロップするなくなります。Python 3の例：

import re
t = re.compile("[a-zA-Z0-9.,_-]")
unsafe = "abc∂éåß®∆˚˙©¬ñ√ƒµ©∆∫ø"
safe = [ch for ch in unsafe if t.match(ch)]
# => 'abc'

を使用しbase64てエンコードおよびデコードできるため、元のファイル名を再度取得できます。

ただし、ユースケースによっては、ランダムなファイル名を生成し、メタデータを別のファイルまたはDBに保存した方がよい場合があります。

from random import choice
from string import ascii_lowercase, ascii_uppercase, digits
allowed_chr = ascii_lowercase + ascii_uppercase + digits

safe = ''.join([choice(allowed_chr) for _ in range(16)])
# => 'CYQ4JDKE9JfcRzAZ'

元のリンク腐敗の答え：

の bobcatこのプロジェクトは、ちょうどこれを行うPythonモジュールが含まれています。

完全に堅牢ではありません。この投稿とこれを参照してください返信を。。

したがって、前述のようにbase64、読みやすさが問題にならない場合は、おそらくエンコーディングの方が適しています。

• 文書 https://svn.origo.ethz.ch/bobcat/src-doc/safefilename-module.html
• ソースhttps://svn.origo.ethz.ch/bobcat/trunk/src/bobcatlib/safefilename.py