NTFSの理論上の最大データ転送スループットはいくらですか?


28

最近、私はプレゼンターがNTFS IOスタックの最大スループットが1 GBpsであると述べたローカルユーザーグループ会議に出席しました。彼は2つの大きなファイルを同じ論理ボリュームから異なる論理ボリュームに同時にコピーし(つまり[a]がソース、[b]が宛先1、[c]が宛先2)、転送速度が約500 MBps。彼はこのテストを数回繰り返し、基礎となるストレージサブシステムがフラッシュであることに気付きました(低速のストレージを疑わないためです)。

私はこの主張を検証しようとしましたが、文書化されたものを見つけることができません。間違った検索語(「1GBps NTFSスループット」、「NTFSスループット最大」)を検索していると思われます。IOスタックが実際に1GBpsのスループットに制限されているかどうかに興味があります。

編集

明確にするために:プレゼンターがNTFSが意図的に制限されていることを意味するつもりはないと思います(また、それを暗示している場合は申し訳ありません)。ファイルシステムの設計の関数であること暗示されたと思います。


1GB / sはフラッシュドライブでもかなり高速です
-TheFiddlerWins

2
@TheFiddlerWins 1 GB / s!= 1 Gbps
カーミット

1
私は同意しますが、B = bytesとb = bitsを知っている限り、彼の質問は「... NTFS IOスタックの最大スループットは1 GBpsでした」と述べています
-TheFiddlerWins

1
簡単な実験-RAMディスク間でファイルをコピーしますか?最近では16 * 2 = 32GBのRAMを取得するのは難しくありません。
kizzx2

1
JamesRyan-転送メカニズムとしてFTPを使用しても、ファイルシステムが突然変更されることはありません。SMBとNTFSを混同しないでください。
mfinni

回答:


36

あなたが意図したものGBpsではなくGbps...

私は実際のファイルシステムを持つファイルシステムを知りませんthroughput limit。ファイルシステムは、ファイルを保存および取得する方法に関する単純な構造です。メタデータ、構造、命名規則、セキュリティ規則などを使用しますが、実際のスループットの制限は、基盤となるハードウェア自体(通常、多くのハードウェアの組み合わせ)によって定義されます。

さまざまなファイルシステムとそれらが基礎となるハードウェアのパフォーマンスにどのように影響するかを比較することはできますが、これもファイルシステムによって直接課せられる制限ではなく、システムの全体的なパフォーマンスの「変数」です。

あるファイルシステムを別のファイルシステムに展開することを選択することは、通常、基盤となるOS、サーバー/アプリケーション、基盤となるハードウェア、および管理者の専門分野や親しみやすさなどのソフト要因に関連しています。

================================================== ================================

技術資料と引用


NTFSの最適化

NTFSパフォーマンス要因

NTFSボリュームのパフォーマンスに影響する多くの要因を決定します。NTFSボリュームのタイプ(SCSI、IDEなど)、速度(ディスクのrpm速度)、ボリュームに含まれるディスクの数などの重要な要素を選択します。これらの重要なコンポーネントに加えて、次の要因がNTFSボリュームのパフォーマンスに大きく影響します。

  • クラスターと割り当てユニットのサイズ
  • マスターファイルテーブル(MFT)、ディレクトリ、NTFSメタデータを含む特殊ファイル、ページングファイル、一般的に使用されるユーザーデータファイルなど、頻繁にアクセスされるファイルの場所と断片化レベル
  • NTFSボリュームを最初から作成するか、既存のFATボリュームから変換するか
  • ボリュームがNTFS圧縮を使用するかどうか
  • 不要なNTFS動作を無効にするかどうか

マルチディスクボリュームでより高速なディスクとより多くのドライブを使用することは、パフォーマンスを改善する明らかな方法です。他のパフォーマンス改善方法はよりわかりにくく、NTFSボリュームの構成の詳細に関連しています。


最新のファイルシステムのスケーラビリティとパフォーマンス

残念ながら、すべてのプラットフォームが同じプラットフォームで利用できるわけではないため、議論中のファイルシステムのパフォーマンスを直接比較することはできません。さらに、利用可能なデータは異なるハードウェアプラットフォームからのものである必要があるため、ファイルシステムのパフォーマンス特性を、実行しているハードウェアプラットフォームのパフォーマンス特性と区別することは困難です。


NTFS最適化

NTFSボリュームのサイズ設定に関するガイダンスを提供する新しいホワイトペーパー

NTFSの新機能

パフォーマンスのためのNTFSファイルシステムの構成

https://superuser.com/questions/411720/how-does-ntfs-compression-affect-performance

WindowsでのNTFS圧縮のベストプラクティス


9
それでも、すべてのデバイスに802.11gのみを接続したシンポジウムを開催し、デバイス間で何度もコピーを行うことで、NTFSのスループット制限が<54Mbpsであることを誓うことができました。
TheCleaner

1
可能性はありますが、「NTFSにはハード制限があります」と「NTFSは<x>ハードウェアのext4 より遅い」と言うのは大きな違いです。彼が間違っているかもしれないし、あなたが間違って解釈しているかもしれない...あなたが行く。
-TheCleaner

7
繰り返しますが、NTFSではファイルシステムにそのような制限はありませんが、特定のNTFSドライバーには制限があります。
mfinni

1
それを制限ではなく、論理的なオーバーヘッドと考えないでください。これには、ドライバーのコードで定義された定義値である必要がある「設定」制限としてドライバーも含まれます。ただし、プロセス<-(@mfinni)...と考えていることを理解しています。ハード制限は、読み取り/書き込みIOを処理するディスク能力のスループットと、トランスポートメディアの技術的な制限で定義されます。
AngryWombat

1
ニースは、@ TheCleaner
mfinni

10

ファイルシステムパフォーマンスをハード制限する実装の詳細を指示しないため、ファイルシステムに関連するデータ転送のボトルネックがあることは非常に疑わしいです。ハードウェアの特定の構成上のファイルシステム用の特定のドライバーには、もちろんボトルネックがあります。


意図的に制限されているとは思いませんでしたが、おそらくデザインの制限だと思いました
スワッシュック

「ファイルシステム」から「ドライバー」に焦点を絞ってくれてありがとう。
-swasheck

5
本の速度を上げることはできません-読者と読者が依存するものの速度を上げることができます。
mfinni

制限とボトルネックは2つの異なるものです...ファイルシステムはオーバーヘッドを引き起こす可能性があるため、ボトルネックを作成することは理論的には可能ですが、この投稿で意図していると思われるハードセット制限を定義しません。
AngryWombat

7

これが本当なら、私は非常に驚くでしょう。ファイルシステムの速度を低下させる可能性のあるすべてのものを見てみましょう。

  • 物理メディア(ディスク、ssd)
  • このメディアへの接続(sas、sata、fcal)
  • フラグメンテーション
  • 不正なロックアルゴリズムまたはその他のコードの問題
  • CPUとメモリの速度

最も一般的な制限要因は、物理メディアです。回転錆は遅い。たとえば、最大速度が6 Gbps(GBpsではなくGbps!)であるこの本当に新しいディスクを考えてみましょう。もちろん、raid 1のセットアップを使用すると、速度が向上します。もちろん、これを達成することは決してありません。シークがパフォーマンスを殺すからです。それでは、あなたが言うSSDを使用ましょう。ああ、もう一度見てください、6Gb。

接続があります。sas(最速のローカルストレージ)は最大6 Gbps、FCは最大16 Gbpsです。

デモでは、このようなハイエンドの最先端のハードウェアを使用していましたか?

あなたがいる場合:興味深い!ケース3をヒットした可能性があり、ファイルシステムに最適化が必要な場合があります。または、ドライバーとアプリケーションがCPUを使い果たしている可能性があります(5)。どちらにも該当しない場合は、NTFSで実際のパフォーマンスの問題が発生している可能性があります。Microsoftに報告してください。

そしてそれでも、これは人為的な制限ではなく、あなたの人生をより悲惨にするために設けられています。ファイルシステムは意図的に転送速度を制限しませんが、ハードウェアが提供できるものによって制限されます。


7

上限はないと思います。ただし、Samsungの人々は2009年のリグで24個のSSDドライブを使用して2121.29 MB / sの読み取りと2000.195 MB / sの書き込みを行ったため、1 GB / s以上であることがわかります。http://www.youtube.com/watch? v = 96dWOEa4Djs

これはSSDが差し込まれたコントローラーカードの合計ハードウェア帯域幅であるため、彼らはその限界に達したと考えています。

また、このページhttp://blog.laptopmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-diskは、NTFSでフォーマットされたRAMディスクが5〜7 GBになることを示しています/ s。http://en.wikipedia.org/wiki/List_of_RAM_drive_softwareにリストされているRAMdiskタイトルの1つを試してみてください


3

ファイルシステムの制限を比較する唯一の論理的な方法は、定数がファイルシステムであり、変数がデバイス、接続などのその他の要因であるシステム間で比較することです。ファイルシステムが制限されているわけではなく、特定のシステムが制限されていました。



1

NTFSには組み込みのスループット制限はありません。速度に関する唯一の制約は、基盤となるハードウェアのパフォーマンス特性です。


意図的に制限されているとは思わなかったが、おそらくデザインの制限だと思った。
-swasheck

6
@swasheckプロセッサが2倍速く、ディスクを2倍速く読み込み、2倍速くシークできる場合、データを2倍速く転送しないファイルシステムを設計することは不可能だと思います。最も効率の悪い設計であっても、使用するすべてのものをより高速にすることで、より高速にできます。
Random832
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.