タグ付けされた質問 「filesystems」

ファイルシステム（またはファイルシステム）は、データの保存、取得、更新の手順を提供することにより、プログラムの終了後に保持されることが予想されるデータを整理し、データを含むデバイスの利用可能なスペースを管理する手段です。

2
ZFSデータ損失シナリオ
大規模なZFSプール（150TB +）の構築を検討しています。ハードウェアの故障によるデータ損失シナリオについて、特に、一部のデータが失われたインスタンスとファイルシステム全体を区別する人々の体験を聞きたいです（ ZFSにそのような違いがある場合でも）。 たとえば、外部ドライブエンクロージャの電源が切れたり、コントローラカードに障害が発生したりしたために、vdevが失われたとします。私が読んだものからプールはフォールトモードになりますが、vdevが返された場合、プールは回復するはずですか？か否か？または、vdevが部分的に破損している場合、プール全体や一部のファイルなどが失われますか？ ZILデバイスに障害が発生するとどうなりますか？または、いくつかのZILの1つだけですか？ 深い技術的知識に裏打ちされた、ありとあらゆる逸話や仮説シナリオを歓迎します！ ありがとう！ 更新： 私たちは中小企業（9人程度）なので安価でこれを行っていますが、かなりの量の画像データを生成します。 データは大部分が小さなファイルであり、TBあたり約50万ファイルとカウントしています。 データは重要ですが、非常に重要ではありません。ZFSプールを使用して48TBの「ライブ」データアレイをミラーリングし（3年程度使用中）、残りのストレージを「アーカイブされた」データに使用する予定です。 プールはNFSを使用して共有されます。 ラックはおそらく建物のバックアップ発電機ライン上にあり、5分間程度全負荷でラックに電力を供給できる2つのAPC UPSがあります。
5
ファイルシステムでatimeをオフにする
mongoDBレプリカセットをセットアップしていますが、最初に行うべきことの1つは、ファイルシステムでatimeをオフにすることです。これを少し研究した後、私はこれを行うことに反対していませんが、私は、atimeを何に使うのか尋ねなければなりませんか？私はインターウェブを検索し、「このアプリケーションまたはこのプロセスはatimeを使用し、それをオフにするとバカになります」という種類の警告をほとんど見つけませんでしたが、本質的に妄想的な人であることを疑問に思います。 それでは、atimeを使用するものとそれをオフにすると何が壊れるのでしょうか？
2
ext4と組み合わせた透過圧縮ファイルシステム
使用しているアプリケーションはext4機能に依存しているため、ext4ファイルシステムを使用して圧縮ストレージを必要とするプロジェクトをテストしようとしています。 ext4で透過的な圧縮を行うための生産/安定ソリューションはありますか？ 私が試したもの： 圧縮が有効なZFSボリューム上のExt4。これは実際に悪影響を及ぼしました。lz4圧縮を有効にしてZFSボリュームを作成し、/ dev / zvol / ...にext4ファイルシステムを作成しようとしましたが、zfsボリュームは実際の使用量の2倍を示し、圧縮は効果がなかったようです。 # du -hs /mnt/test **1.1T** /mnt/test # zfs list NAME USED AVAIL REFER MOUNTPOINT pool 15.2T 2.70G 290K /pool pool/test 15.2T 13.1T **2.14T** - ZFS作成コマンド zpool create pool raidz2 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde2 /dev/sdf1 /dev/sdg1 /dev/sdh2 /dev/sdi1 zfs set recordsize=128k pool …
12
Linuxでの1,000万個のファイルの保存とバックアップ
サーバーフォールトで回答できるため、 この質問はStack Overflowから移行されました。 8年前に移行され ました。 約1,000万のファイル（表紙）が[0-f]の範囲の3つのレベルのサブディレクトリに保存されているWebサイトを実行しています。 0/0/0/ 0/0/1/ ... f/f/f/ これにより、ディレクトリごとに約2400個のファイルが作成されます。これは、1つのファイルを取得する必要がある場合に非常に高速です。さらにこれは多くの質問によって提案された習慣です。 ただし、これらのファイルをバックアップする必要がある場合、10mのファイルを保持している4kディレクトリを参照するだけで何日もかかります。 だから、これらのファイルをコンテナ（または4kコンテナ）に保存できるかどうか疑問に思っています。それぞれがファイルシステム（ある種のマウントされたext3 / 4コンテナ？）のように動作します。これは、ファイルシステム内のファイルに直接アクセスするのとほぼ同じくらい効率的であり、別のサーバーに非常に効率的にコピーされるという大きな利点があると思います。 これを最善にする方法に関する提案はありますか？または任意の実行可能な代替（noSQL、...）？
2
書き込まれているファイルを確認します（iotopのようですが、プロセスではなくファイル用）
Linuxサーバーを使用していますが、多くのディスクioを実行しています。ほとんどのディスク書き込みを行うプロセスが1つあります。これを見つけiotopたのは、ディスクI / Oを実行しているプロセスを示しています。どのファイルが書き込まれているのかを示す同等のプログラム（debian lenny aptリポジトリー内）はありますか？「トップ」のようなインターフェースは素晴らしいでしょうか？これも可能ですか？
9
1つのext3ディレクトリ内のファイルの最大数は、許容可能なパフォーマンスを得ていますか？
サーバーフォールトで回答できるため、 この質問はStack Overflowから移行されました。 9年前に移行され ました。 私はext3ディレクトリに書き込むアプリケーションを持っていますが、それはやがて約300万のファイルに成長しました。言うまでもなく、このディレクトリのファイル一覧を読むのは耐えられないほど遅いです。 ext3のせいにしません。適切な解決策は、./a/b/c/abc.extのみを使用するのではなく、などのサブディレクトリにアプリケーションコードを書き込むことでした./abc.ext。 私はそのようなサブディレクトリ構造に変更していますが、私の質問は単純です：許容されるパフォーマンスを得ながら、1つのext3ディレクトリにおよそいくつのファイルを保存する必要がありますか？あなたの経験は？ または言い換えれば、300万個のファイルを構造体に保存する必要があると仮定した場合、./a/b/c/abc.ext構造体の深さはいくつになりますか？ 明らかにこれは正確に答えることができない質問ですが、私は球場の見積もりを探しています。
2
Linuxで、スーパーユーザーのルートのフォルダーが/ homeにないのはなぜですか？
のような権限を持つユーザーを作成できます。そのユーザーrootのホームディレクトリはに分類され/home/usernameます。rootファイルシステムの最上位に独自のフォルダーを取得するのはなぜですか？これは単なる慣習なのか、セキュリティ上の懸念なのか、パフォーマンスに関連する理由があるのか​​？
4
ホストファイルシステムにDockerコンテナーのコンテンツをマウントする
Dockerコンテナの内容を検査できるようにしたい（読み取り専用）。これを行うエレガントな方法は、コンテナのコンテンツをディレクトリにマウントすることです。私は、コンテナ内のホストにフォルダをマウントするのではなく、ホストにコンテナの内容をマウントすることについて話している。 現在、Dockerにはaufsとbtrfsの2つのストレージドライバーがあることがわかります。私自身のDockerインストールではbtrfsを使用しており、/ var / lib / docker / btrfs / subvolumesを参照すると、システム上のDockerコンテナーごとに1つのディレクトリが表示されます。ただし、これはDockerの実装の詳細であり、これらのディレクトリを別の場所にマウントしてバインドするのは間違っているように感じます。 これを行う適切な方法はありますか、またはこれらの種類のマウントをサポートするためにDockerにパッチを適用する必要がありますか？
8
ユーザーのホームディレクトリのファイルのアクセス許可を修正する必要がある
ディレクトリのファイルのアクセス許可を再帰的に修正するツールまたはスクリプトはありますか？ Ubuntu Linuxマシンでは、多くのファイルが完全な777パーミッション（ユーザー、グループ、その他-読み取り、書き込み、実行）でUSBディスクにコピーされました。修正したユーザーのディレクトリに戻したいです。 ディレクトリは775で、他のすべてのファイルは664です。すべてのファイルはイメージ、ドキュメント、またはMP3であるため、実行可能にする必要はありません。ディレクトリビットが設定されている場合、実行が必要です。それ以外の場合は、ユーザーとグループ、読み取りと書き込みが必要です。 私は、シェルスクリプトを一緒にハッキングする前に、そのようなユーティリティが存在するかどうかをチェックする価値があると考えました:)
4
ramfsとtmpfsのパフォーマンスの違い
多くの100 kbの単一ファイル（イメージ）で構成される約10 GBのデータ用に、メモリ内ストレージシステムをセットアップする必要があります。多くの読み取りとかなり定期的な書き込みが行われます（新しいファイルの追加、古いファイルの削除）。tmpfsは通常のファイルシステムのように動作する ことを知っています。たとえば、dfを使用して空き領域や使用済み領域を確認できます。これは便利な機能です。しかし、ramfsがIO操作の速度に関していくつかの利点を提供するかどうかに興味があります。ramfsを使用する場合、消費されたメモリのサイズを制御できないこと、および空きRAMを完全に消費するとシステムがハングすることがありますが、このシナリオでは問題になりません。 要約すると、私は興味があります： -パフォーマンスの面で、どちらが速いか：ramfsまたはtmpfs（そしておそらくその理由）？ -ときはないtmpfsのは、スワップ領域を使用できますか？既に保存されているデータをスワップ（現在実行中の他のプログラム用にRAMを解放するため）に移動するか、その時点で空きRAMが残っていない場合は新しいデータのみを移動しますか？
7
Linux / Unixの同一ツリーへのアクセス許可のコピー
正しい権限を持つファイルのツリーがあります。その後、私は間違ったアクセス許可を持つ（ファイルごとに）同一のツリー（異なるファイルコンテンツを持つ）を持っています。 あるツリーから別のツリーにアクセス許可のレイアウトを転送するにはどうすればよいですか？
7
ディスクの大きなLVM（8 TB）のファイルシステムはどれですか？
Linuxサーバーには2 TBのディスクが多数ありますが、現在はすべてLVMにあり、約10 TBのスペースがあります。ext4パーティションでこのすべてのスペースを使用しますが、現在約8,8 TBのデータがあります。 問題は、多くの場合、ディスクにエラーが発生し、エラーが表示されたらすぐに交換する（つまり、古いディスクをddで新しいディスクにコピーしてから新しいディスクをサーバーに入れる）場合でも、多くの場合、約100 MBの破損データが表示されます。そのため、e2fsckは毎回おかしくなり、ext4ファイルシステムを再び正常な状態に戻すのに1週間かかることがよくあります。 質問は次のとおりです。LVMでファイルシステムとして使用することをお勧めしますか？ または、代わりに私に何を勧めますか（私は本当にLVMは必要ありません）？ 私のファイルシステムのプロファイル： 異なる合計サイズの多くのフォルダー（合計2 TB、合計100 MB） サイズが異なる200,000近くのファイル（3/4が約10 MB、1/4が100 MBから4 GBの間。現在、ext4パーティションが数日間完全に破壊されているため、ファイルの統計を取得できません） 読み取りは多いが書き込みは少ない フォールトトレランスが必要です（ディスク全体で1つのエラーが発生するのが好きではないため、mdadm RAIDの使用を停止しました。ディスクに障害が発生している場合があり、できるだけ早く交換しますが、破損したデータを取得できることを意味します私のファイルシステム） 主な問題は、ディスクの故障です。一部のファイルを失うことはできますが、すべてを同時に失うわけにはいきません。 ext4を使い続けている場合、より小さなファイルシステムを作成し、何らかの方法でそれらを「マージ」するのが最善であると聞きましたが、その方法はわかりません。 私はbtrfsがいいと聞いたが、データが複製されていない場合（mkfs.btrfs -d single？）、ディスクの一部（またはディスク全体）を失うことを管理する方法についての手がかりを見つけることができません。 質問に関するアドバイスは大歓迎です、事前に感謝します！
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.