名前の類似性に基づいてファイルの重複の候補を見つける方法は？

類似の画像や写真（imagedupe）も音声ファイルも検索していません！

ここには多くのメディアデータがあり、ファイル名に基づいて重複を見つけたいと思います。fdupesなどがあることは知っていますが、ここでは私の場合はうまくいきません（たとえば、同じデータの再エンコード）。文字列の類似性は難しい作業であると想像できますが、「the and and of」という単語の情報が「plant、pirate」などよりも少ないという事実に基づいて、私はこのようなことをする必要があることを知っています。そのような方法ですべての重複を見つけることはできません。数字も単語で書くことができ、キャメルケースや1337の名前も難しい候補になるかもしれません。しかし、似たようなものがすでに考え出されているのではないかと思いました。

私の最初の試みはこれです：

• 最初に関連するすべての単語を抽出します。

  find . -type f -exec basename {} \; | sort | tr "\n" " " | sed 's/[\._\-]/ /g' | tr " " "\n" | sort | uniq -c

• 次のような単語を除外します：「and、the、...」

• 残りのリストの各単語について、次のように調べます

  find . -iname $word -type f

glimpseそして、agrep心にスプリング。