トレント内およびトレント間で重複ファイルを検出する方法を教えてください。

大量のトレントをダウンロードしている場合、すでにダウンロードされているファイルを検出してダウンロードを中止する方法やクライアントはありますか。

編集する コメントから明らかにしてください。はいこれは異なるトレント間で重複するファイルを見つけてそれらをダウンロードすることを避けることを意味します。

私はあなたが急流の中のどのファイルをダウンロードするべきか選ぶことをあなたに許してくれるクライアントを知っています。あなたがそれらをダウンロードする前に、急流の中の個々のファイルのチェックサムを取得することは可能ですか？もしそうなら、私はスクリプトか何かを作ることができます。

bittorrent qbittorrent

— fullmooninu
ソース

それが同じtorrentであるならば、それはあなたが他のものが走っているならばあなたがダウンロードを始める時に通知するでしょう、それはそれが重複ファイルのために異なるそれぞれのtorrentをチェックしないこと

— Moab

トレント内の重複ファイルにも同じ部分が含まれています。トレント間の重複排除について話しているのであれば、これは別の問題です。

— jdwolf

@ jdwolfいいえ、ピースは異なるオフセットを持つことになるので、それらは同一にはなりません。

— Encombe

@Encombeそれらが異なる「オフセット」を持っていたならば、それらは今同じファイルではないでしょうか？

— jdwolf

あなたがそれらをダウンロードする前に急流の中の個々のファイルのチェックサムを取得することは可能ですか？もしそうなら、私はスクリプトか何かを作ることができます。

— fullmooninu

.torrentファイルで利用可能なデータから、Torrent内のファイルが別のTorrent内にも存在するかどうかを判断することはできません。標準のBitTorrentプロトコルには重複排除のサポートはありません。

トレントが作成されると、その中のすべてのファイルが連結され、それから細かく分割されます。

example:
Files  |---#1|#2|---#3|-----------------------#4|#5|------#6|-----#7|-------#8|
Pieces |--0|--1|--2|--3|--4|--5|--6|--7|--8|--9|-10|-11|-12|-13|-14|-15|-16|17|

最後の部分を除いて、すべての部分の長さは同じです。
ファイルには1つ以上の部分があります。
1つのピースに複数のファイル（からの部分）を含めることができます。
内部ファイルとピースの境界が揃うことは非常にまれです（パディングファイルが使用されている場合を除く）。
マルチファイルトレント内のファイルは、ほとんどの場合、他のファイルと共有されているピースを持ちます。

問題は、ピースハッシュからファイルハッシュを作成することは不可能であるということです。

（@jdwolfファイル＃1とファイル＃3が同一であっても、それらの部分ハッシュはすべて異なります。）

ファイルハッシュを追加することができるtorrentクリエータプログラムがいくつかありますが、それはどこにも使用されていないのです。

— Encombe
ソース