ジェネレーターから派手な配列を構築するにはどうすればよいですか？

ジェネレータオブジェクトからnumpy配列を構築するにはどうすればよいですか？

問題を説明しましょう：

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

このインスタンスでgimme()は、その出力を配列にしたいジェネレータです。ただし、配列コンストラクターはジェネレーターを反復処理せず、単にジェネレーター自体を格納します。私が望む動作はからの動作numpy.array(list(gimme()))ですが、中間リストと最終配列を同時にメモリに持つことによるメモリのオーバーヘッドを負担したくありません。よりスペース効率の良い方法はありますか？

Numpy配列は、Pythonリストとは異なり、作成時に明示的に長さを設定する必要があります。これは、各アイテムのスペースをメモリに連続して割り当てるために必要です。連続した割り当ては、numpy配列の重要な機能です。これは、ネイティブコードの実装と組み合わせると、通常のリストよりもはるかに高速にそれらの操作を実行できます。

これを念頭に置いて、次のいずれかを行わない限り、ジェネレーターオブジェクトを取得して配列に変換することは技術的に不可能です。

1. 実行時に生成される要素の数を予測できます。

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el
   

2. その要素を中間リストに保存する用意があります：

   my_array = numpy.array(list(gimme()))

3. 2つの同一のジェネレーターを作成し、最初のジェネレーターを実行して全長を確認し、配列を初期化してから、ジェネレーターを再度実行して各要素を検索できます。

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el
   

1はおそらくあなたが探しているものです。2はスペース効率が悪く、3は時間効率が悪いです（ジェネレーターを2回通過する必要があります）。

このstackoverflowの結果の背後にあるグーグル、私はあることを発見しましたnumpy.fromiter(data, dtype, count)。デフォルトでcount=-1は、すべての要素が反復可能オブジェクトから取得されます。をdtype明示的に設定する必要があります。私の場合、これはうまくいきました：

numpy.fromiter(something.generate(from_this_input), float)

を使用してジェネレータから1D配列をnumpy.fromiter()作成できますが、次を使用してジェネレータからND配列を作成できますnumpy.stack。

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

1D配列でも機能します。

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

numpy.stackは内部的にジェネレータを消費し、で中間リストを作成していることに注意してくださいarrays = [asanyarray(arr) for arr in arrays]。実装はここにあります。

多少正接しますが、ジェネレータがリスト内包である場合numpy.where、より効果的に結果を取得するために使用できます（この投稿を見て、自分のコードでこれを発見しました）

vstack、hstack、及びdstackの機能は、多次元配列を生じる入力ジェネレータとして取ることができます。