12
Linuxでの1,000万個のファイルの保存とバックアップ
サーバーフォールトで回答できるため、 この質問はStack Overflowから移行されました。 8年前に移行され ました。 約1,000万のファイル(表紙)が[0-f]の範囲の3つのレベルのサブディレクトリに保存されているWebサイトを実行しています。 0/0/0/ 0/0/1/ ... f/f/f/ これにより、ディレクトリごとに約2400個のファイルが作成されます。これは、1つのファイルを取得する必要がある場合に非常に高速です。さらにこれは多くの質問によって提案された習慣です。 ただし、これらのファイルをバックアップする必要がある場合、10mのファイルを保持している4kディレクトリを参照するだけで何日もかかります。 だから、これらのファイルをコンテナ(または4kコンテナ)に保存できるかどうか疑問に思っています。それぞれがファイルシステム(ある種のマウントされたext3 / 4コンテナ?)のように動作します。これは、ファイルシステム内のファイルに直接アクセスするのとほぼ同じくらい効率的であり、別のサーバーに非常に効率的にコピーされるという大きな利点があると思います。 これを最善にする方法に関する提案はありますか?または任意の実行可能な代替(noSQL、...)?