hdf5の代替

私は何年もHDF5を使用していますが、データセットのサイズが大きくなるにつれて、ここにリストされているのと同じ問題を経験し始めています。

http://cyrille.rossant.net/moving-away-hdf5/

HDF5のようなフォーマットを指定してください-並列書き込みの良好なサポート-巨大なマトリックスのチャンクアクセスのサポート

私の典型的な使用例は、100k x 100k整数行列です。論理的な観点からファイル全体として保持したいのですが、並列ワーカーでチャンクごとに書き込む必要があります。

HDF5は、ある程度、それ自体がファイルシステムです。Bツリーを導入し、ブロックを管理する方法により、ファイルシステムの機能を複製します。コードを実行しているときは、実績のあるスケーラブルなファイルシステムを備えたオペレーティングシステムで実行している可能性があります。したがって、生ファイルアクセスまたはMPI-IOを使用して数値生データを単一のファイルに書き込み、メタデータ（エンディアン、サイズ、属性など）を別のJSONファイルまたはXMLファイルに書き込むことをお勧めします。複数のデータセットがある場合、それらをディレクトリまたはディレクトリの階層に整理できます。データセットを配布する場合は、ZIPファイルにパックするだけです。

唯一の欠点は、エンディアンに自分で対処しなければならないことですが、これは難しくありません。

これを行う方法のインスピレーションについては、Dragly、et。al。「A.実験的ディレクトリ構造（Exdir）：新しいファイル形式を導入しないHDF5の代替」フロント。Neuroinform。、2018、12。