6
numpy配列をディスクに保存する最良の方法
私は大きな派手な配列を保持するための高速な方法を探しています。それらをバイナリ形式でディスクに保存してから、比較的高速にメモリに読み戻します。残念ながらcPickleは十分な速度ではありません。 numpy.savezとnumpy.loadが見つかりました。しかし、奇妙なことに、numpy.loadはnpyファイルを「メモリマップ」にロードします。つまり、配列の定期的な操作は非常に遅くなります。たとえば、次のようなものは非常に遅くなります。 #!/usr/bin/python import numpy as np; import time; from tempfile import TemporaryFile n = 10000000; a = np.arange(n) b = np.arange(n) * 10 c = np.arange(n) * -0.5 file = TemporaryFile() np.savez(file,a = a, b = b, c = c); file.seek(0) t = time.time() z = np.load(file) print "loading …