ファイルは順次ディスクに保存されますか？

私が理解したように、「スパースファイル」とは、ファイルに「ギャップ」があり、実際に使用されるデータが論理ファイルサイズよりも小さいことを意味します。

Linuxファイルシステムはディスク上のファイルをどのように保存しますか？私は主にext4に興味があります。しかし：

1. ファイルをディスク上に順番に保存することはできませんか？つまり、ファイルの一部は物理アドレスXにあり、次の部分は物理アドレスYにありますが、これはX +オフセットに近くありません）。
2. ファイルの連続性を何らかの方法で制御できますか？
   10GBのファイルを割り当てたいです。ディスク上で連続し、異なるオフセット間で分割されないようにします。
3. 異なるタイプ間で異なる動作をしますか？

ファイルをディスク上に順番に保存することはできませんか？つまり、ファイルの一部は物理アドレスXの下にあり、他の部分は物理アドレスYの下にあり、X +オフセットに近くありません）。

はい; これはファイルの断片化と呼ばれ、特に大きなファイルの場合は珍しくありません。ほとんどのファイルシステムは、必要に応じてスペースを割り当てますが、将来的には推測できません。したがって、200MiBをファイルに書き込んでからさらに100MiBを追加すると、両方のデータセットがゼロ以外の可能性があります。ディスクのさまざまな領域に格納されます（基本的に、最初の書き込みの後、2番目の書き込みの前に発生する、ディスク上により多くのスペースを必要とする他の書き込みは、2つの間に入れられます）。ファイルシステムが満杯に近い場合、状況は通常悪化します。新しいファイルを保持するのに十分な大きさの連続した空き領域がない可能性があるため、断片化する必要があります。

ファイルのシーケンシャル性を何らかの形で制御できますか？10GBの大きなファイルを割り当てたい。ディスク内でシーケンシャルであり、異なるオフセットに分割されないようにします。

ファイルシステムの作成時に、ファイルシステムにファイルのターゲットサイズを伝えることができます。これは、ファイルシステムが最適に保存するのに役立ちます。最新のファイルシステムの多くは、遅延割り当てと呼ばれる手法を使用します。この手法では、計算の実行時に利用可能な情報を最大化するために、新しいファイルのディスク上のレイアウトが可能な限り遅く計算されます。posix_fallocate(3)関数を使用してファイルシステムに合計で割り当てるディスク容量を伝えることにより、このプロセスを支援できます。最新のファイルシステムは、この割り当てを順番に実行しようとします。

異なるタイプ間で異なる動作をしますか？

異なるファイルシステムは異なる動作をします、はい。NILFS2などのログベースのファイルシステムは、Ext4などのエクステントベースのファイルシステムと同じ方法でストレージを割り当てません。これはバリエーションの一例です。

このコマンドfilefragは、ファイルがデバイスに物理的に保存される方法を示します。

# filefrag -v /var/log/messages.1 
Filesystem type is: ef53
File size of /var/log/messages.1 is 41733 (11 blocks, blocksize 4096)
 ext logical physical expected length flags
   0       0  2130567               1 
   1       1 15907576  2130568      1 
   2       2 15910400 15907577      1 
   3       3 15902720 15910401      7 
   4      10  2838546 15902727      1 eof
/var/log/messages.1: 5 extents found

ファイルを1回のパスで書き込む場合、ファイルは断片化されないでしょう。

fallocate（1）のmanページはかなり明確です：

fallocate ブロックをファイルに事前に割り当てるために使用されます。fallocateシステムコールをサポートするファイルシステムの場合、これはブロックを割り当て、それらを初期化されていないものとしてマークすることにより迅速に行われ、データブロックへのIOを必要としません。これは、ファイルをゼロで埋めて作成するよりもはるかに高速です。

Linux Kernel v2.6.31の時点で、fallocateシステムコールはbtrfs、ext4、ocfs2、およびxfsファイルシステムでサポートされています。

シーケンシャルですか？システムは最初にブロックを順番に割り当てようとします。できない場合、警告は表示されません。

スパースファイルについて言及しましたが、他の回答では言及していません。

ほとんどのファイルはスパースではありません。ファイルを作成する最も一般的な方法は、最初から最後まですべてを一度に書き込むことです。穴はありません。

ただし、「位置1,000,000,000,000に移動してそこにバイトを書き込む」と言うことは許可されています。これにより、1バイトの大きなサイズのファイルが作成されますが、実際には（おそらく）ディスク上の4kのみを使用します。これはスパースファイルです。

同じファイルに対してこれを何度も行うことができ、少量のデータを広大な空虚に散らばらせます。

これは便利ですが、2つの欠点があります。

1つ目は、ファイルが断片化されることです。これが心配です。

2番目は、すべてのプログラムがこれらのファイルを適切に処理するわけではないということです。たとえば、一部のバックアップソフトウェアは、空をバックアップしようとするため、必要以上に大きく、バックアップメディアには大きすぎるバックアップを作成しようとします。

ファイルの連続性を何らかの方法で制御できますか？10GBのファイルを割り当てたいです。私はそれをディスク上でシーケンシャルにし、異なるオフセット間で分割しないようにします。

これを実現するには、少なくともいくつかの方法があります。

1. 多数のスペアスペースを持つファイルシステムを使用し、スペースを事前に割り当てます（たとえば、アプリケーション固有のデータ終了マーカーを使用し、ファイルサイズが10GBに達するまでランダムデータを追加します）。これは、断片化されていないデータになるという保証はありません。

2. ext4などの代わりにraw（未調理）ファイルシステムを使用します。DBMSはパフォーマンス上の理由からこれを行うことがあります。トレードオフは、必要に応じて独自のキャッシュ/ジャーナリング/リカバリなどを行う必要があることです。

これを行うことで多くの利益が得られるインスタンスは比較的まれです。まず、パフォーマンスを最適化するために他の場所を調べます。

こちらもご覧ください

通常、データベース管理システムはファイルシステムをバイパスしますか？

これが1回限りであり、ファイルが元々どのように保存されているかが重要ではない場合、結果だけが重要です。ファイルを通常どおり保存し、オペレーティングシステムのデフラグツールを実行できます。次に、ファイルが1つのピースになっているかどうかをこの回答で確認し、そうでない場合は繰り返します。これは、コマンドや外部プログラムを使用せずに行う最も簡単な方法ですが、ディスク全体を最適化するため、最速の方法ではありません。