タグ付けされた質問 「deduplication」

テキストファイルがある場合は、コマンドで並べ替えることができます sort input.txt output.txt。テキストファイルから重複行を削除することもできますか。 （理想的には、Windowsでバッチファイルで実行できる解決策が欲しいのですが。） これは基本的にテキストファイルから重複を削除する方法を尋ねることと同じです。ソートについて言及した理由は、ファイルがソートされていて、それらが連続した行にしか現れないことを知っていれば、重複を削除する方が簡単だと思うからです。 。だから私はそれがソートと一緒に重複を削除する方法がある可能性が高いと思います。 （そして、私がこのidを使いたいという目的のためには、繰り返される行が削除される限り、ファイル内の行の順序が変更されても問題ありません。） たとえば、次のようなファイルからは、 100 100 100 100 101 101 102 手に入れたい 100 101 102

1 batch-file  sorting  deduplication 

重複しているフォルダーがたくさんあります。それらの中には重複している数十個のフォルダーがあるので、同じファイルとフォルダーの数千のコピーがあります。それらの多くはまったく同じですが、いくつかはいくつかのファイルに変更があります。 他のコピーを変更せずにコピーしたフォルダーを削除するには、どのユーティリティを使用できますか？そのフォルダー内の1つ以上のファイルが変更された場合、それを削除したくありません（そして、サブフォルダーにコピーへのショートカットが必要ですが、それは必須ではありません）。これを行うユーティリティはありますか？

1 file-management  deduplication 

私はあるウェブサイトからアイコンライブラリをダウンロードし、そしてプロジェクトでいくつかのアイコンを使用しました。今、私はライブラリから別のアイコンを見つける必要がありますが、私は自分のコンピュータ上でライブラリを見つけることができません。 私はライブラリからいくつかのファイルをコピーしたので、私はドライブ上に重複があることを知っています、それで私は重複検出を実行してライブラリの残りを見つけることができるはずです。 私はいくつかの重複検出プログラムを使用した経験がありますが、それらはすべてドライブ全体をスキャンし、すべての重複を検出します（数時間かかることがあります）。 選択したファイルの重複のみを見つけることができる優れたプログラムはありますか？ 私はWindows 7を使用しています（Ultimate、それは問題ではないはずですが）。

windows-7  deduplication 

私は、Webサイトをバックアップし、それらを保持して保存するために、ZFSバックアップサーバー（重複排除機能付き）を実行しています。これを行うには、最初のバックアップ時にすべてのファイルをバックアップサーバーに転送し、それらすべてのファイルのコピーを作成して、保持するセットと翌日のバックアップを同期するセットを作成します。 ただし、これらすべてのファイルのローカルコピーを作成するのには15 GBのデータしかないまま3時間以上かかりますが、別のサーバーから転送すると30分しかかかりません。これはおそらく、 "cp"コマンドが一度に1つの（小さい）ファイルを読み取り、それをストレージに書き込むためです。これにはメカニックディスクとそのシーク時間（3ディスクのraidZ）で数時間かかります。 コピーが最初にファイルごとにデータを読み込むのではなく、最初に大量のデータをメモリに読み込み、次にそれを書き込む場合は、これはおそらく修正されます。

backup  zfs  buffer  deduplication 

Windows Media Player 12は、割り当てられたネットワークドライブの各ファイルに重複したエントリを追加しています。 ％UserProfile％\ Appdata \ Local \ Microsoft \ Windows Mediaに移動してインデックスを再構築しようとすると、インデックスファイル（または任意のファイル）が見つかりません。そのディレクトリに、2つのファイルを含む12.0というラベルの付いたフォルダがあります。 WMSDKNS.XMLおよびWMSDKNS.DTD "XMLファイルは承認されたプロトコルの一覧です。 重複を修正するにはどうすればよいですか。 （重複は2つの異なるファイルを指しているのではなく、実際には同じファイルに対する重複です。）

windows-7  windows-media-player  deduplication 

ファイルの重複を減らすための演習の一環として、管理者は、イメージを含むすべての重複バイナリファイルのレポートを取得したいと考えています。これらは100,000以上を超えているようで、これらのサイズを考慮すると、バックアップに影響します。重複ファイルを見つけ、レポートを吐き出し、それらを削除またはアーカイブするプロセスを実行する方法はありますか。理想的には、アプリケーションはWindowsまたはLinuxで動作するはずです。

deduplication 

この質問にはすでに答えがあります： 同様の動画を検出する方法 6回答 ファイルサイズだけでなく、ファイルのビデオ/オーディオ比較に基づいて重複を探す重複ビデオファインダーなどはありますか？

-1 video  duplicate  deduplication