何百万もの小さなファイルのブロックサイズ

Debian WheezyのハードウェアRAID1（LSI MegaRaidの可能性があります）に2x 4TBディスクがあります。物理ブロックサイズは4kBです。1億から2億の小さなファイル（3〜10kB）を保存します。私はパフォーマンスを求めているのではなく、ストレージを節約するための最適なファイルシステムとブロックサイズを求めています。8200バイトのファイルをブロックサイズ4kBのext4にコピーしました。これには32kBのディスクが必要でした！？その理由はジャーナリングですか？では、そのような小さなファイルのためにほとんどのストレージを節約するには、どのようなオプションがありますか？

私がそのような状況にあった場合、すべてのデータを個別のファイルとしてではなく、コンパクトなオフセットベースのインデックスを持つ単一のファイルに格納できるデータベースを検討しているでしょう。おそらく、必要なときにファイルとして操作できるFUSEドライバがあり、実際にはすべてが個別のファイルではないデータベースがあります。

あるいは、たとえば、ファイルサイズの60〜70パーセンタイルを見て、そのファイルサイズをディスク上の個別のブロックとしてではなく、ファイルシステムツリーノードに直接当てはめることもできます。各ノードに10kを保存することはおそらく大きな問題ですが、ファイルの60％〜70％をそこに入れることができれば、それはおそらく大きな勝利でしょう。

特定のファイルシステムだけがそれを行うことができます（reiserfsは1つです）。それはすべて、パーセンタイルがどのサイズか、ツリーに収まるかどうかに依存すると思います。あなたはそれを調整することができるかもしれません。残りを1つのブロックに収めようと思います。

ジャーナルについては心配しないでください。いずれにせよ、それらには上限サイズがあります。