タグ付けされた質問 「ceph」

Linux IOシステムの経験が少しある人からの洞察は役に立ちます。これが私の話です。 最近、6つのDell PowerEdge rx720xdsのクラスターを立ち上げ、Ceph経由でファイルを提供しました。これらのマシンには、2つのnumaゾーンと70の奇数ギガバイトのメモリを備えた2つのソケット上に24のコアがあります。ディスクは、それぞれ1つのディスクのRAIDとしてフォーマットされます（そうでなければ、直接ディスクを公開する方法がわかりませんでした）。ネットワークは、mellanox infiniband IP over IBによって提供されます（IPパケットは、ハードウェアではなくカーネルランドでIBに変換されます）。 各SASドライブは次のようにマウントされています。 # cat /proc/mounts | grep osd /dev/sdm1 /var/lib/ceph/osd/ceph-90 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdj1 /var/lib/ceph/osd/ceph-87 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdu1 /var/lib/ceph/osd/ceph-99 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdd1 /var/lib/ceph/osd/ceph-82 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdk1 /var/lib/ceph/osd/ceph-88 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdl1 /var/lib/ceph/osd/ceph-89 xfs rw,noatime,attr2,inode64,noquota …

18 linux  linux-kernel  xfs  fragmentation  ceph 

私はcephにかなり慣れていないので、cephがハードウェアレベルのRAID HBAをサポートしているかどうかを調べます。 悲しいことに、情報を見つけることができませんでした。私が見つけたのは、OSDにはプレーンディスクを使用することをお勧めすることです。しかし、これにより、PCIe、ディスクのインターフェイスの帯域幅が高くなり、CPUの要件が非常に高くなります。ハードウェアRAIDコントローラーはすでにこれらの要件を解決しており、PCIe、CPU、その他のリソースを消費することなく、セットアップに基づいて高い冗長性を提供します。 したがって、私が望むセットアップは、必要なRAIDレベルが何であれ、コントローラレベル（RAID 5、RAID 6）でディスクの冗長性を処理するローカルRAIDコントローラを持つことです。cephを使用してホスト、シャーシ、ラック、行、データセンター、またはCRUSHで可能なまたは計画可能なものの間でより高いレベルのレプリケーションを実行したいRAID LUNの上に そのセットアップでの経験はありますか？ 推奨設定ですか？ このハードウェアRAID統合に関する詳細なドキュメントはありますか？

8 raid  hardware-raid  redundancy  ceph 

ceph rawスペースの使用状況を理解できません。 7台のサーバーに14台のHDD（14個のOSD）があり、各HDDが3TBで、合計で42TBのrawスペースがあります。 ceph -s osdmap e4055: 14 osds: 14 up, 14 in pgmap v8073416: 1920 pgs, 6 pools, 16777 GB data, 4196 kobjects 33702 GB used, 5371 GB / 39074 GB avail それぞれ5 TBの4つのブロックデバイスを作成しました。 df -h /dev/rbd1 5.0T 2.7T 2.4T 54% /mnt/part1 /dev/rbd2 5.0T 2.7T 2.4T 53% /mnt/part2 /dev/rbd3 …

8 centos  xfs  ceph