ドロップボックスはどのように大きなファイルをバージョンアップ/アップロードしますか?[閉まっている]


28

無料のドロップボックスアカウント(2GB)を持っていますが、大きなファイルのバージョン管理がどのように機能するのか疑問に思っていました。

1GBをわずかに超える@のすべてのWebファイルの完全バックアップがあります。1GBの最初のアップロード後、同期するたびにDropboxがファイルのデルタを計算しますか、それともバージョンアップするために全体を再度アップロードする必要がありますか?

常に大きなファイルの最新バージョンを保持することはクールですが、毎回1GBをアップロードする帯域幅を殺したくはありません。

これは可能ですか?

おかげで、

回答:


36

Dropboxはバイナリdiffアルゴリズムを使用してすべてのファイルをブロックに分解し、まだクラウドにないブロックのみをアップロードします。これらはすべて、コンピューター上でローカルに実行されます。

Dropboxは、既にアップロードしたファイルを使用するだけでなく、全員のファイルを1つのブロックデータベースに集約し、各ローカルブロックハッシュをそのデータベースと照合します。

これは、他の誰かが自分と同じファイル(たとえば、最新のUbuntu ISOなど)をアップロードした場合、アップロードするものが何もないため、アップロードはすぐに見えるようになりますが、バックアップファイル、変更のみがアップロードされます。完全に一意のファイルをアップロードする場合、すべてがアップロードされるのを待つ必要があります。


4
これへの参照はありますか?それはかなり面白い
STW

1
Dropboxチームは時々フォーラムでそれについて話します(特に最近は非常に忙しいですが、特にArash F)。
Moo

3
これは、暗号化されたファイル(TrueCryptボリュームなど)の変更されたブロックのみをアップロードするということですか?
ウィルM

1
Will-はい、かなりの数の人々がDropboxフォルダー内でTrueCryptを使用して大きな成功を収めていると信じています。
Moo

1
あなたの答えの最後の部分はもはや真実ではありません。「ドロップシップ」の大失敗の後、変更が行われました。それらはまだ内部的に重複排除されている可能性がありますが、「windows8.iso」(少なくとも誰かがすでに行っている可能性が高い)をフォルダーに入れると、すべてのバイトをアップロードする必要があります。
端午

10

価値のあるものとして、Dropboxは各ファイルの4MBごとにハッシュを作成すると主張しています。そうすれば、100MBファイルの連続する2MBを変更した場合、ファイルを再同期するために4MB(2つ目の4MBブロックに交差する場合は8MB)をアップロードするだけで十分です。

使用するハッシュは4MBのファイルチャンク専用です

ソース:https : //blogs.dropbox.com/tech/2016/05/inside-the-magic-pocket/


ただし、4 MBが圧縮およびその他の操作の前か後かは明確ではありません
Walter Tross

2

また、変更してもファイル全体が一度にアップロードされないことを強調することも重要です。たとえば、2GBの一意のファイルがある場合、たとえば、truecryptまたはpgpdiskを使用するときなどに保持する暗号化されたディスクドライブに対して、暗号化されたディスク内のいくつかのファイルを変更すると、dropboxはブロックのみをアップロードしますそれは事実上変わりました。したがって、たとえば、2GBのpgpdiskファイルをDropboxにアップロードしてから、この2GBの100MBを変更すると、Dropbox は変更されもののみを検出して更新できるほどインテリジェントになります。したがって、すでにある帯域幅をアップロードするために、アップロード帯域幅を無駄にすることはありません。

Dropboxチームが取り組んでいるもう1つの機能は、ローカルネットワークで実行されているDropboxの別のインスタンスを検出するDropboxを作成し、それらの間で情報を同期することです。たとえば、ラップトップとデスクトップがあり、どちらも同じDropboxアカウントを持っている場合、デスクトップ上のファイルを更新します。ラップトップを接続すると、デスクトップはすぐに「クラウド」と同期します。代わりに、Dropboxはデスクトップコンピューターから差分を直接ダウンロードし、ダウンロード帯域幅を浪費しません。これはまだ来ない-しかし、甘い機能になります!


1
彼らは週末にピアツーピア同期機能を備えた実験的なビルドをリリースしました。
Moo

1
これは安定した機能です。
ウィリアム
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.