BTRFSでデータを重複排除するにはどうすればよいですか?


15

ファイルシステムBTRFSを使用して、EEE PC 701にLubuntu 15.04をインストールしました。データを重複排除したいのですが、方法がわかりません。

回答:


14

何かがうまくいかなくても何も失わないように、完全バックアップを作成することから始めます。

あなたが探していると思う duperemove -d

「Duperemoveは、重複したエクステントを見つけて重複排除のために送信するためのシンプルなツールです。ファイルのリストが与えられると、ブロックごとにコンテンツをハッシュし、それらのハッシュを相互に比較し、一致するエクステントを見つけて分類します。 -dオプションを指定すると、duperemoveはbtrfs-extent-same ioctlを使用して重複排除のためにそれらのエクステントを送信します。

Duperemoveには2つの主要な動作モードがあり、一方は他方のサブセットです。

読み取り専用/非重複モード

-d(デフォルト)なしで実行すると、duperemoveは重複排除の理想的な候補であると判断した一致するエクステントの1つ以上のテーブルを出力します。その結果、読み取り専用モードは、 '-d'を指定して実行したときにduperemoveが何を行うかを確認するのに役立ちます。出力は、後で重複排除のためにエクステントを送信するために、他のソフトウェアによっても使用される可能性があります。

このモードでは、一致するエクステントのすべてのインスタンスが出力されるわけではなく、重複排除の対象となるインスタンスのみが出力されることに注意してください。

通常、duperemoveは、処理するエクステントの基礎となる表現には関与しません。それらのいくつかは、圧縮されたり、I / Oを受けたり、すでに重複排除されている可能性があります。重複排除モードでは、カーネルがこれらの詳細を処理するため、その作業を複製しないようにします。

重複排除モード

これは、読み取り、ハッシュ、および比較のステップで見つかった重複エクステントが実際に重複排除のために送信されることを除いて、読み取り専用モードと同様に機能します。重複排除された合計データの推定値は、操作の完了後に出力されます。この推定値は、重複排除の前後の各ファイルの共有バイトの合計量を比較することで計算されます。

duperemoveの実行の詳細については、duperemoveのマニュアルページを参照してください。」

これはbtrfs-toolsパッケージには含まれていないようですが、ここにはgitハブページがあります。ここで利用可能な最近の未解決および未解決の問題(別名パルス)

Ubuntuの現在サポートされているすべてのバージョンのパッケージは、このPPAにあります。

バックアップを強くお勧めします。参照:https : //github.com/markfasheh/duperemove/issues/50

引用元:https : //github.com/markfasheh/duperemove

マニュアルページ:https : //manpages.debian.org/testing/duperemove/duperemove.8.en.html


duperemove -dと入力すると、ヘルプページが表示されます
wb9688

1
「man duperemove」と入力すると何が得られますか?実行するファイルを指定する必要があると思います。ようにduperemove [options] files...
長老オタク

/私はちょうど昨日、それを使用している- FTRを、コマンドがあるduperemove -rdh path1 path2 pathn。ここで、-r再帰的なため、-d実際に重複除外、とに-h人間が読める数字のため。
ハイエンジェル

@ハイエンジェル更新答え- manページへの追加リンク
エルダーオタク

3

私はいつも寝具を使いました。非常に高速で信頼性があります。このツールは、公式のbtrfsページにも記載されています。duperemoveを使用したことはありません(bedupは古いです)。


2
この時点で、ベッドアップは現在活発に開発されておらず、残念ながら時代遅れです。
パーキンス

3
@パーキンス私は同意しません。本日投稿した問題github.com/g2p/bedup/issues/75についてのフィードバックを受け取りましたが、この助けを借りて、新しい16.04サーバーで7GB以上のスペースを「使い果たし」ました。
アダムリツコフスキ16

3
誰かがそれを再び拾ったかもしれません。重複を適切にスキャンすることすら完全にできないため、1年ほど後にあきらめました。ただし、新しいioctlを使用するように更新しない限り、duperemoveは、重複の1つを無効にして他のreflinkコピーを作成する代わりに、カーネルスペースで重複排除をアトミックに行うため、より安全になります。しかし、その後、bedupは実際にはツリー内に格納するのに十分なファイルを取得しますが、duperemoveは現在、カーネルのサポートが不足しているためにできません。
パーキンズ
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.