多数のファイルがあるNTFSドライブでのパフォーマンスが遅い

私はこのセットアップを見ています：

• Windowsサーバー2012
• 1 TB NTFSドライブ、4 KBクラスター、最大90％フル
• 10,000個のフォルダに保存された約1,000万個のファイル=〜1,000個のファイル/フォルダ
• ほとんどが50 KB未満のかなり小さいファイル
• ディスクアレイでホストされている仮想ドライブ

アプリケーションがランダムなフォルダーに保存されているファイルにアクセスする場合、各ファイルの読み取りには60〜100ミリ秒かかります。テストツールを使用すると、ファイルを開くときに遅延が発生するようです。その後、データの読み取りにかかる時間はごくわずかです。

要約すると、これは、50個のファイルを読み取るのに3〜4秒かかりやすいことを意味します。書き込みはバッチで行われるため、ここではパフォーマンスは問題になりません。

私はすでにSOとSFに関するアドバイスに従って、これらの数値に到達しました。

• フォルダーを使用してフォルダーあたりのファイル数を減らす（ファイルシステムに100万枚の画像を保存する）
• contigフォルダーとファイルを最適化するために実行します（/programming//a/291292/1059776）
• 8.3名前と最終アクセス時刻が無効になっている（パフォーマンス向上のためのNTFSファイルシステムの構成）

読み取り時間についてはどうしますか？

• ファイルあたり60〜100ミリ秒で問題ないことを考慮してください（そうではありませんか？）
• セットアップを改善する方法はありますか？
• 正確に時間が費やされているかを知ることができる低レベルの監視ツールはありますか？

更新

1. コメントで述べたように、システムはSymantec Endpoint Protectionを実行します。ただし、これを無効にしても読み取り時間は変わりません。

2. PerfMonは、読み取りあたり10〜20 msを測定します。これは、ファイルの読み取りに最大6回のI / O読み取り操作が必要であることを意味します。これはMFTルックアップとACLチェックですか？

3. MFTのサイズは〜8.5 GBで、メインメモリよりも大きくなります。

サーバーに十分なメモリがありませんでした。NTFSメタファイルデータをメモリにキャッシュする代わりに、すべてのファイルアクセスに複数のディスク読み取りが必要でした。いつものように、一度見れば問題は明らかです。私の視点を曇らせたものを共有しましょう：

• サーバーは、タスクマネージャーとRamMapの両方で使用可能な2 GBのメモリを示しました。したがって、どちらのWindowsも、利用可能なメモリがメタファイルデータの意味のある部分を保持するのに十分ではないと判断しました。または、一部の内部制限により、メタファイルデータにメモリの最後のビットを使用できません。

• RAMタスクマネージャーをアップグレードした後、より多くのメモリが使用されていることが表示されませんでした。ただし、RamMapは、スタンバイデータとして保持されている複数のGBのメタファイルデータを報告しました。明らかに、スタンバイデータは大きな影響を与える可能性があります。

分析に使用したツール：

• fsutil fsinfo ntfsinfo driveletter:NTFS MFTサイズ（またはNTFSInfo）を表示するには
• メモリ割り当てを示すRamMap
• プロセスモニターは、読み取ったすべてのファイルの前に、drive：\ $ Mftおよびdrive：\ $ Directoryに対する約4つの読み取り操作があることを示します。$ Directoryの正確な定義は見つかりませんでしたが、MFTにも関連しているようです。