ハードディスクの空き容量を何百万ものファイルで視覚化するにはどうすればよいですか?


18

600ギガバイトのハードディスクがほぼ一杯です。18,501,765個のファイル(主に小さな19k画像)と7,142,132個のフォルダーでいっぱいになっています。正確にすべてのスペースがどこに行ったのかを見つけることは非常に困難です。通常のクリーンアップ手順では十分なスペースを空けていないため、このドライブ全体を調べて、何が存在し、何を移動または削除できるかを判断する必要があります。私たちはいくつかのアプリケーションを試しましたが、これまでのところ、爆発するか、驚くほど長い時間実行されて完了しています。

サーバー情報

  • オペレーティングシステム:Windows Server 2003
  • ファイルシステム:NTFS

溶液

Space ObServerは、メモリをほとんど消費することなく、18,501,765個のファイルと7,142,132個のフォルダを読み取ることができました。これは主に、すべてのデータを保存するためにSQLバックエンドを使用するという事実によるものと確信しています。残念ながら、すべての製品の中で最も高価で、サーバーあたり259.95ドルです。

試みられたソリューション

私の研究中に、私は有料と無料の両方でいくつかの異なるソリューションを試しました。みんなの情報のために、私が試した製品のリストを以下に保管しました。

フリーソフトウェア

有料ソフトウェア

更新

更新#1:分析しようとしているサーバーには2 GBのRAMがあり、試してみるほとんどの製品はファイル/フォルダー情報をメモリに保存しようとしているようです。これは、18,501,765個のファイルと7,142,132個のフォルダーで非常に速く実行される傾向があります。

更新#2:WinDirStatの開発者は、64ビットでコンパイルできることを教えてくれたようです。これにより、動作するメモリが増えますが、ディスクに保持できない限り、それで十分かどうかはわかりません。


どのオペレーティングシステムですか?
ウェズリー

それはWindows Server 2003です。今、それを示すために投稿を編集しました。
ネイサンパーマー

これらは完全に無料、シェアウェア、またはオープンソースですか?
マズロー

失敗、実行中、保留中の問題について、そのように更新してくれてありがとう。良いアイデアをくれます。
ウェズリー

2
問題ない。企業が通常は日常的に使用しないファイルの数を扱っているように感じるので、それは良い情報になると思いました。また、無料と有料のカテゴリを更新しました。
ネイサンパーマー

回答:


6

OSがWindowsの場合...

いずれにせよ、何百万ものファイルの集計には常に時間がかかり、ディスク自体のI / Oによって制限されます。TreeSize Professionalをお勧めします。または、おそらくSpaceObServer。TreeSizeのフリーウェアバージョンも試してみてください。


同意する。しかし、私が試したことのないこれらの2つの製品を見てみましょう。
ネイサンパーマー

5

間違いなくWinDirStatを試してください。各ファイルをファイルタイプごとに色分けされた拡大縮小された長方形として描くことにより、ディスク使用の素晴らしい視覚化を提供します。ビジュアライゼーションの項目をクリックすると、ディレクトリツリーに表示されます。

標準の32ビットビルドは1,000万ファイルと2 GBのRAM使用に制限されていますが、ソースコードは64ビットアプリケーションとして正常にビルドされます。問題のサーバーに2GBのRAMしか搭載されていないという事実は、この特定のケースでは問題になる可能性がありますが、このような多数のファイルを備えたほとんどのサーバーには、はるかに多くのRAMが搭載されます。

編集#1:何百万ものファイルを含む4TBボリュームでテストしたときに、約650万のファイルのインデックスを作成した後、WinDirStat Portableがクラッシュしたことを発見したことを残念に思います。ドライブに600万を超えるファイルが含まれている場合、元の質問では機能しない場合があります。

編集#2:WinDirStatのフルバージョンが1,000万ファイルと1.9GBでクラッシュする

編集#3:WinDirStat開発者と連絡を取り、(1)これはx86アーキテクチャのメモリ使用量の制限が原因であることに同意し、(2)エラーなしで64ビットとしてコンパイルできると述べました。よりすぐ。

編集#4:WinDirStatの64ビットビルドのテストは成功しました。44分で1,140万個のファイルのインデックスを作成し、2.7 GBのRAMを消費しました。


ポータブル環境が予期しない制限を作成した可能性があるため、通常バージョンを試す価値があります。私はそれを自分でテストする立場にありません。windirstat.info
ジョンガーデニア

実際、通常バージョンは1,000万以上のファイルと1.9GBのRAM使用量で死にます。2GBを超える容量を割り当てることができないと思われます。かなりの量のRAMを使用していることに驚かされます(1ファイルあたり約200バイトが集計されます)が、個々のバイトが今日よりもはるかに貴重な時代に再び成長しました...
Skyhawk

WinDirStatを頻繁に使用します。残念ながら、大量のファイルを取得しても、それはカットされません。
ネイサンパーマー

WinDirStatの開発者が何かを返してくるかどうか聞いてみたいです。32ビットまたは64ビットでは、RAMが制約になります。
ネイサンパーマー

1
公式のビルドはありませんが、非公式のビルドを送信できます。明らかに、Visual Studioを持っていない場合、独自のロールを作成するのは難しいでしょう!(my.name@gmail.comが届きます)
スカイホーク


3

TreeSize製品の場合は+1ですが、...

「十分なスペースをクリーンアップしていない」という文は、NTFS MFTの予約済みスペースが不足していませんか?ファイルシステムが最初に割り当てられたよりも多くのMFTスペースを取得する場合、通常のファイルスペースには戻されず、デフラグ操作には表示されません。

http://support.microsoft.com/kb/174619

「比較的大きなファイルの数が少ないボリュームは最初に予約されていないスペースを使い果たし、比較的小さなファイルの数が多いボリュームは最初にMFTゾーンスペースを使い果たします。どちらの場合でも、MFTの断片化は1つのリージョンまたは予約されていないスペースがいっぱいになると、ユーザーファイルとディレクトリ用のスペースは、割り当てのためにMFTと競合するMFTゾーンから割り当てられます。MFTゾーンがいっぱいになると、新しいMFTエントリ用のスペースが残りの部分から割り当てられます。再び他のファイルと競合するディスク。」


それはチェックするのに良い何かのように見えます。残念ながら、デフラグはCHKDSKなしでは分析されず、CHKDSKは現在「不特定のエラーが発生しました」で失敗するため、MFTサイズを確認できません。
ネイサンパーマー

3
  1. cd \
  2. dir / s> out.txt
  3. ばか!魔法が起こります。またはperlハッカーが現れます
  4. 結果!

真剣に。500万または600万のファイルでこれを実行しました。探しているものが正確にわからないが、優れたスクリプト言語がこれを食い尽くしてしまう。


Soo ...ステップ#3で何が起こるか.. perlハッカーが現れないと仮定しますか?
ネイサンパーマー

必要なものに関する詳細情報を投稿できますか?最大のファイル?最大のディレクトリ?日付/時刻情報が必要ですか?それは一度限りのニーズですか、それとも繰り返しですか?
SqlACID

今のところは一度だけです。どのディレクトリが最も大きいか(dir +子)を知る必要がありますが、その情報が有効になる前にいくつかのディレクトリに行く必要があります。次に、日付ごとにファイルを分割して、最近のファイルと古いファイルを表示できるようにする必要があります。
ネイサンパーマー

3

私は通常Windowsユーザーではありませんが、Cygwinの存在は知っています。:-)

十分に機能する場合、次のようなものです

du -m /your/path | sort -nr | head -n 50

またはおそらくCygwinで

du C:\ | sort -nr | head -n 50

とにかく、それらは50個の最大ディレクトリ(サイズはメガバイト単位)を出力するはずです。


2

Spacemongerでいくつかの問題を発見し、USBスティックから簡単に転送または実行できるユーティリティを探していました-Space Snifferはその点で非常に用途が広く、マルチテラバイトボリュームを簡単に処理できました。


ファイルがいくつあるマルチテラバイトボリューム?私たちの主要な問題は、使用されるスペースの量ではなく、プログラムが処理できるファイルの数です。ほとんどが1000万で窒息しています。
ネイサンパーマー

私は数百万を超えるファイルをテストするサーバーを持っていないので、1000万のファイルの質問に自信を持って答えることができませんでした-私の唯一の提案は、これらのツールを使用して視覚化するディレクトリの深さを設定できることです-ハッピーメディアを使用して、必要なフォルダの奥深くに移動すると、視覚化を行う時間も節約できます。




0

mftテーブルについて、私の頭の後ろから、オリジナルのオープンソースバージョンであるjkdefragが、mft領域の異なる色付けを含む非常に正確なディスクビューを与えたことを思い出すようです。私は以前、mftサイズと断片化の大まかな推測のためにそれを使用したと思います。

また、chdskを気にしません。

それを試してみませんか?


試してみました。分析を実行すると、これらの他のプログラムのほとんどと同じ運命になります。メモリに保存されているファイル/フォルダーが多すぎます。
ネイサンパーマー

それを読んですみません。プラットフォームの問題のようです。別の提案があります:ディスクをミラーリングする(ビットイメージ、イメージングソフトまたはハードウェアミラー)linux / nix。これにより、投資した作業時間の量に関するミラードライブのコストを保証するのに十分な時間が消費されました。
deploymonkey


0

私は使用しました バオバブ-ディスク使用量アナライザを、それはWindowsサーバ上のリモートスキャン機能です使用してLinux上で。しかし、それが限界であるかどうかはわかりません。

Fedora LiveCDはBaobabが含まれています。LAN内の任意のコンピューターで起動します。

ビールやスピーチのように、すべて無料です。また、商用利用のため。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.