タグ付けされた質問 「filesystems」

メインファイルサーバーにZFSを使用してOpenSolarisを実行しています。私はそれについて非常に多くの素晴らしいことを聞いたので、私はもともとZFSに行きました： 自動ディスクスパニング（zpool） ソフトウェアRAID（RAID-Z） RAIDZされたディスクを交換することによる自動プールサイズ変更 ブロックレベルのチェックサム 実用的な単一ボリュームの制限はありません 「近日公開」重複排除 OpenSolarisにしばらく突っ込んだ後、本当に困りました。私はFedora / CentOSとDebian / Ubuntuをはるかによく知っており、Solaris / BSDバージョンに比べてLinuxのやり方に慣れています。Linuxに切り替えたいのですが、FSに何を使うべきかわかりません。 ZFSを入手するためにFUSEやプレベータ版のカーネルを使うつもりはありません。Btrfsには潜在的な機能パリティがありますが、現在でもまだ安定していません（最初に調べてから数か月後）。LinuxボックスのZFS（上記の望ましい機能）に相当するものとして何をお勧めしますか？

12 linux  filesystems  zfs 

一般的な最新のUNIX環境（GNU / Linux、GNU / Solaris、Mac OS Xなど）で、特定の絶対ファイルパスがどのマウントポイントとファイルシステムタイプにあるかを判断する良い方法はありますか？ 私は、私が思うことができ、実行mountコマンドをし、手動での出力を解析して、私のファイルパスとそれを文字列比較が、私はもっとエレガントな方法があります場合、私は思ったんだけどそれを行う前に。 私は、拡張属性を利用するBASHスクリプトを開発しており、さまざまなファイルシステムおよびホスト環境向けにDo The Right Thing（できる限りではないが）を実行したいと考えています。

12 unix  bash  files  filesystems  unix-shell 

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 6年前に閉鎖されました。 ロックされています。この質問とその回答はロックされています。なぜなら、質問はトピックから外れていますが、歴史的に重要だからです。現在、新しい回答やインタラクションを受け入れていません。 HOWTO Forgeの記事や1年前の別の記事で説明されているように、Windowsでext2 / ext3を使用/アクセスする方法がいくつかあることを理解しています。ただし、リストされている項目はいずれも、完全に実装されたext3への完全な読み取り/書き込みアクセスを提供しません。つまり、2つの読み取り/書き込みオプションはext3ジャーナルをサポートしていないようです。（ext2fsdは空でないジャーナルを再生しますが、そうでない場合は使用しません。ext2fs.sysはジャーナルをまったく使用していないようです。） Windowsにインストールして、ジャーナル、ユーザー権限、selinux属性（可能な場合は少なくとも保持する）、その他の拡張属性など、ext3パーティションへの完全な読み取り/書き込みアクセスを提供できるドライバーを知っている人はいますか？ これらのドライバーのいずれかを実際に使用したことがありますか？現在、FAT32パーティションを介してデュアルブートシステム上のOS間でデータを共有しています。Linuxで読み書きアクセスできるNTFSを使用できることを知っています。ただし、可能であれば、ext3を使用することをお勧めします。

12 windows  filesystems  ext3 

あるディレクトリにあるすべてのファイルを別のディレクトリにはないLinux / Unixツールはありますか？基本的に私はlsの出力で動作するdiffを探しています。 短くて甘いスクリプトも大歓迎です。

12 linux  command-line-interface  filesystems 

nginxキャッシュディレクトリを削除したいのですが、すぐに削除しました： mv cache cache.bak mkdir cache service nginx restart これで、cache.bak200万個のファイルがあるフォルダーができました。サーバーに影響を与えずに削除したいです。 単純なrm -rf cache.bakものはサーバーを破壊します。rmの実行中に最も単純なHTTP応答でも16秒かかるため、私はそれを行うことができません。 試しましたがionice -c3 rm -rf cache.bak、助けにはなりませんでした。サーバーにはSSDではなくHDDがありますが、おそらくSSDに問題はないかもしれません。 最良の解決策は、nginxの組み込みキャッシュマネージャーのように、何らかの調整を行うことだと思います。 これをどのように解決しますか？これを正確に実行できるツールはありますか？ Ubuntu 16.04上のext4

11 linux  ubuntu  filesystems  ext4 

CarbonとGraphiteを実行しているマシンのクラスターを持っているので、ストレージを増やすためにスケールする必要がありますが、スケールアップする必要があるか、スケールアウトする必要があるかはわかりません。 クラスターは現在、次のもので構成されています。 1リレーノード：すべてのメトリックを受信し、関連するストレージノードに転送します 6ストレージノード：すべてのWhisper DBファイルを収容 問題は、ディスクの使用率が80％近くになると、パフォーマンスが崖から落ちたように見えることです。クラスター書き込みIOPSは、ほぼ一定の13kから約7kのより混aroundとした平均に低下し、IOwait時間の平均は54％です。 構成レポを確認しましたが、4月上旬以降変更はないため、これは構成変更の結果ではありません。 質問：ディスクサイズを増やすとIOパフォーマンスが制御下に戻りますか、それともストレージノードを追加する必要がありますか？ 注：ここにはSSDはありません。たくさんのスピンドルがあります。 関連グラフ： 統計ともの： e2freefrag： [root@graphite-storage-01 ~]# e2freefrag /dev/vda3 Device: /dev/vda3 Blocksize: 4096 bytes Total blocks: 9961176 Free blocks: 4781849 (48.0%) Min. free extent: 4 KB Max. free extent: 81308 KB Avg. free extent: 284 KB Num. free extent: 19071 HISTOGRAM OF FREE …

11 linux  filesystems  ext4  graphite 

ソフトウェアraid5上のluksにext4ファイルシステムがあります。私がスペースを使い果たし始めたとき、ファイルシステムは数年間「正常に」動作していました。6x2Tドライブに9Tボリュームがありました。アレイを大きくするまでmdadm fail、remove、add、rebuildを繰り返してプロセスを繰り返し、3Tドライブへのアップグレードを開始しました。その後、luksコンテナーを成長させ、マウントを解除してresize2fsを実行しようとすると、ファイルシステムが汚れていてe2fsckが必要であるというメッセージが表示されました。 考えずにe2fsck -y / dev / mapper / candyboxを実行しただけで、すべての種類のinodeが削除されるタイプのメッセージを吐き出しました（正確には覚えていません）e2fsckを強制終了し、懸念しているバックアップデータにファイルシステムを再マウントしようとしました。この時点でマウントしようとすると、次のようになります： # mount /dev/mapper/candybox /candybox mount: wrong fs type, bad option, bad superblock on /dev/mapper/candybox, missing codepage or helper program, or other error In some cases useful info is found in syslog - try dmesg | tail or so 古いログを振り返ると、マシンが起動するたびにファイルシステムがこのエラーを出していることに気付きました。 kernel: …

11 linux  filesystems  ext4  data-recovery 

私の組み込みLinuxデバイスは、特定の診断データを保存するためにSDカードを使用しますが、内部フラッシュにはあまりにも多すぎます。 問題は、デバイスの電源が予期せずオフになった場合、カードのファイルシステム（FAT32）が破損することです。 予期しない停電やユーザーがそのように電源を切ることを防ぐ方法はなく、デバイスは比較的メンテナンスフリーである必要があります。さらに悪いことに、データは継続的に書き込まれるため、破損は非常に頻繁に発生し、Linuxは障害のあるFSを検出すると、読み取り専用でサイレントに再マウントします。 これを軽減するためにどのような方法を提案しますか？起動時にfsck.vfatを自動的に実行するだけで十分ですか？ 詳細情報： ユーザーがカードを取り外し可能と見なさないでください。それは内部ディスクと考える必要があります。その上に保存されたデータはすべて、ネットワーク経由またはusbドライブ経由でダウンロードできるようになり、システムは自動的に最も古いエントリを削除します。つまり、平均的なPCで読み取る必要はありません。 システムは現在、FAT、yaffs、jffs2をサポートしています。カーネルに他のファイルシステムを追加することは可能ですが、他の手段が存在する場合は、最初にそれらを優先します。 書き込みは、データ損失なしで数分間でもオンデマンドで中断できます。 部分的なデータ損失または軽微な破損は許容されます。ロギングの完全な停止はそうではありません。 ほとんどの場合、電源オフイベントは完全に予測不能です。 システムはARM9、200MHZ、64MB RAM、32MBの内部フラッシュで実行されており、主な役割のためにCPUパワーのほとんどを使い果たします。凝ったリソースを大量に使用するソリューションを検討する際には、これを考慮してください。

11 linux  filesystems  corruption  embedded  sd-card 

圧縮されていない25 TBのログファイルに直面しており、25 TBの無料ストレージ容量を備えた20個のコモディティボックスの配列を自由に使用できるとします。 これらをどのように保存しますか？ a）使用する分散ファイルシステム b）どの圧縮/解凍形式/アルゴリズム？ c）ログファイルのサイズは1MBから最大7MBで、すべてのテキストと多くの空白 d）使用方法はa）人々は以前よりも最新のログファイルが欲しいので、どのキャッシングシステムを使用するかb）人々はそれらを削除せずにログファイルのみを読み取るc）日付範囲に対してログファイルのリストを表示したい e）コモディティボックスで実行されているオペレーティングシステムはLinuxです。 f）バックアップに関しては、それを処理するストレージアレイがあります。したがって、アレイからデータを復元する機能が存在します。 ファイルシステムに直接アクセスしてほしくありません。私は何をすべきか ？このためにRESTベースのAPIを取得するにはどうすればよいですか？ 2セントをcentしまないでください。 アンクル

11 filesystems  storage  log-files  compression 

私はファイルシステムのバージョン管理について長い間考えてきました。これはキラー機能であり、Wayback、ext3cow、zfs、fuseソリューション、または単にcvs / svn / gitオーバーレイを見てきました。 ext3cowを要件のモデルと考えています。透過的で効率的ですが、追加ls abc@timestamp機能なしで実行できます。何らかの形でファイルの自動化された透過的なバージョン管理を取得している限り。 瞬間的なものでも、10秒、30秒、1分、5分、15分などの間隔でのスナップショットに基づいたものでもかまいません。特定のディレクトリにある数千のファイルをさまざまなサイズで効率的に処理します。 100メートルから1ギガバイト以上。 私はLinuxを使用しているので、ZFSは実際にはオプションではありません（新しいものではなく、バージョン管理したいext3セットアップがすでにあるので、ヒューズを介して使用することを好まないでしょう）。 どんなソリューションがありますか？

11 git  ext3  filesystems  versioning 

サーバーの1つに、不思議なことに削除され続けるファイルがあります。私がやりたいのは、プログラムにこのファイルを見てもらい、いつ/どのように/誰によって削除されたかを知らせることです。問題のファイルのバックアップがあるため、元に戻すのはそれほど面倒ではありませんが、Webサイトのダウンタイムにつながります。 これを行うソフトウェアはありますか？たぶん無料の何か？OSはWindows Server 2003 SP2 32ビットです。

11 windows-server-2003  filesystems  audit  trace 

私は、Windowsボックス上の最大のファイルのリストを探しています。つまり、1つのフォルダだけでなく、ディスク上のどこにでもあります。これを取得する簡単な方法はありますか？

11 windows  filesystems 

同等のLinuxに関する質問は、私のMacBookProのパフォーマンスが悪いことを思い出させてくれました。最近のデフォルトFSが何であるかさえわかりません。私はどこかで、金曜日または土曜日にそのようなことを実行するcronジョブがあることを読みました。 ディスクを最適化する必要がありますか？そして、もし、どうすればいいですか？

11 filesystems  hard-drive  mac-osx 

私はこのセットアップを見ています： Windowsサーバー2012 1 TB NTFSドライブ、4 KBクラスター、最大90％フル 10,000個のフォルダに保存された約1,000万個のファイル=〜1,000個のファイル/フォルダ ほとんどが50 KB未満のかなり小さいファイル ディスクアレイでホストされている仮想ドライブ アプリケーションがランダムなフォルダーに保存されているファイルにアクセスする場合、各ファイルの読み取りには60〜100ミリ秒かかります。テストツールを使用すると、ファイルを開くときに遅延が発生するようです。その後、データの読み取りにかかる時間はごくわずかです。 要約すると、これは、50個のファイルを読み取るのに3〜4秒かかりやすいことを意味します。書き込みはバッチで行われるため、ここではパフォーマンスは問題になりません。 私はすでにSOとSFに関するアドバイスに従って、これらの数値に到達しました。 フォルダーを使用してフォルダーあたりのファイル数を減らす（ファイルシステムに100万枚の画像を保存する） contigフォルダーとファイルを最適化するために実行します（/programming//a/291292/1059776） 8.3名前と最終アクセス時刻が無効になっている（パフォーマンス向上のためのNTFSファイルシステムの構成） 読み取り時間についてはどうしますか？ ファイルあたり60〜100ミリ秒で問題ないことを考慮してください（そうではありませんか？） セットアップを改善する方法はありますか？ 正確に時間が費やされているかを知ることができる低レベルの監視ツールはありますか？ 更新 コメントで述べたように、システムはSymantec Endpoint Protectionを実行します。ただし、これを無効にしても読み取り時間は変わりません。 PerfMonは、読み取りあたり10〜20 msを測定します。これは、ファイルの読み取りに最大6回のI / O読み取り操作が必要であることを意味します。これはMFTルックアップとACLチェックですか？ MFTのサイズは〜8.5 GBで、メインメモリよりも大きくなります。

11 windows  performance  filesystems  ntfs 

私はZFSプール-2つのvdevを含むミラー-をFreeBSDサーバーで実行していました。ミラーからディスクを1つだけ取得し、そこからファイルを回復しようとしています。 ZFSデータは、ディスク上のGPTパーティションにあります。 プールをインポートしようとすると、プールがまったく存在する兆候がありません。いくつかの方法を試しましたが、何も起こりません。 私はzdb -luパーティションで実行しましたが、ラベルは問題ないようです。 # zpool import # zpool import -D # zpool status no pools available # zpool import -f ztmp cannot import 'ztmp': no such pool available # zpool import 16827460747202824739 cannot import '16827460747202824739': no such pool available パーティション情報： # gpart list da0 Geom name: da0 modified: …

11 filesystems  freebsd  zfs