Pythonジェネレーターを使用するのに適した時期ではないのはいつですか？

これは、Pythonジェネレーター関数を何に使用できるかという逆です。：Pythonジェネレーター、ジェネレーター式、およびitertoolsモジュールは、最近のpythonの私のお気に入りの機能の一部です。これらは、大量のデータに対して実行する一連の操作を設定するときに特に役立ちます。DSVファイルを処理するときによく使用します。

それで、それはいつですか 、ジェネレーター、ジェネレーター式、またはitertools関数を使用するのが適切ないのですか？

• ときに私が好むはずですzip()以上itertools.izip()、または
• range()以上xrange()、または
• [x for x in foo] 以上 (x for x in foo)？

明らかに、最終的にはジェネレーターを実際のデータに「解決」する必要があります。通常は、リストを作成するか、ジェネレーター以外のループでリストを反復処理します。長さを知る必要がある場合もあります。これは私が求めているものではありません。

中間データ用に新しいリストをメモリに割り当てないように、ジェネレータを使用します。これは、特に大きなデータセットに適しています。小さなデータセットにも意味がありますか？顕著なメモリ/ CPUのトレードオフはありますか？

リスト内包表記のパフォーマンスとmap（）およびfilter（）の目を見張るような議論に照らして、誰かがこれについてプロファイリングを行った場合は特に興味があります。（代替リンク）

次の場合は、ジェネレータの代わりにリストを使用します。

1）データに複数回アクセスする必要があります（つまり、結果を再計算する代わりにキャッシュします）。

for i in outer:           # used once, okay to be a generator or return a list
    for j in inner:       # used multiple times, reusing a list is better
         ...

2）ランダムアクセス（または順方向の順序以外のアクセス）が必要です：

for i in reversed(data): ...     # generators aren't reversible

s[i], s[j] = s[j], s[i]          # generators aren't indexable

3）文字列を結合する必要があります（データを2回渡す必要があります）。

s = ''.join(data)                # lists are faster than generators in this use case

4）PyPyを使用していますが、通常の関数呼び出しやリスト操作の場合ほどジェネレーターコードを最適化できない場合があります。

一般に、len（）、reversed（）などのリスト操作が必要な場合は、ジェネレーターを使用しないでください。

遅延評価が必要ない場合もあります（たとえば、リソースを解放できるように、すべての計算を前もって行う）。その場合、リスト式の方が良いかもしれません。

プロファイル、プロファイル、プロファイル。

コードのプロファイリングは、実行していることが何らかの効果があるかどうかを知る唯一の方法です。

xrange、ジェネレーターなどのほとんどの使用法は、静的サイズ、小さなデータセットを超えています。それが本当に違いを生むのは、大きなデータセットに到達したときだけです。range（）とxrange（）は、ほとんどの場合、コードを少し醜く見せ、何も失わず、何かを得るだけの問題です。

プロファイル、プロファイル、プロファイル。

あなたは賛成することはありませんzip以上izip、range以上のxrange発電機の内包表記上、またはリストの内包。Python 3.0でrangeありxrange様セマンティクスをし、zip持っているizip様セマンティクスを。

リスト内包表記はlist(frob(x) for x in foo)、実際のリストが必要な場合と同様に、実際にはより明確です。

あなたが言うように、「これは特に大きなデータセットにとって意味があります」、これはあなたの質問に答えると思います。

パフォーマンスの面で壁にぶつかっていない場合でも、リストと標準機能に固執することができます。次に、パフォーマンスに問題が発生した場合は、切り替えを行います。

ただし、コメントで@ u0b34a0f6aeが述べているように、最初にジェネレーターを使用すると、より大きなデータセットに簡単にスケーリングできます。

パフォーマンスに関して：psycoを使用する場合、リストはジェネレーターよりもかなり高速になる可能性があります。以下の例では、psyco.full（）を使用すると、リストがほぼ50％高速になります。

import psyco
import time
import cStringIO

def time_func(func):
    """The amount of time it requires func to run"""
    start = time.clock()
    func()
    return time.clock() - start

def fizzbuzz(num):
    """That algorithm we all know and love"""
    if not num % 3 and not num % 5:
        return "%d fizz buzz" % num
    elif not num % 3:
        return "%d fizz" % num
    elif not num % 5:
        return "%d buzz" % num
    return None

def with_list(num):
    """Try getting fizzbuzz with a list comprehension and range"""
    out = cStringIO.StringIO()
    for fibby in [fizzbuzz(x) for x in range(1, num) if fizzbuzz(x)]:
        print >> out, fibby
    return out.getvalue()

def with_genx(num):
    """Try getting fizzbuzz with generator expression and xrange"""
    out = cStringIO.StringIO()
    for fibby in (fizzbuzz(x) for x in xrange(1, num) if fizzbuzz(x)):
        print >> out, fibby
    return out.getvalue()

def main():
    """
    Test speed of generator expressions versus list comprehensions,
    with and without psyco.
    """

    #our variables
    nums = [10000, 100000]
    funcs = [with_list, with_genx]

    #  try without psyco 1st
    print "without psyco"
    for num in nums:
        print "  number:", num
        for func in funcs:
            print func.__name__, time_func(lambda : func(num)), "seconds"
        print

    #  now with psyco
    print "with psyco"
    psyco.full()
    for num in nums:
        print "  number:", num
        for func in funcs:
            print func.__name__, time_func(lambda : func(num)), "seconds"
        print

if __name__ == "__main__":
    main()

結果：

without psyco
  number: 10000
with_list 0.0519102208309 seconds
with_genx 0.0535933367509 seconds

  number: 100000
with_list 0.542204280744 seconds
with_genx 0.557837353115 seconds

with psyco
  number: 10000
with_list 0.0286369007033 seconds
with_genx 0.0513424889137 seconds

  number: 100000
with_list 0.335414877839 seconds
with_genx 0.580363490491 seconds

パフォーマンスに関しては、ジェネレーターではなくリストを使用したいと思うことはありません。

ジェネレーターがあなたがやろうとしていることを妨げるような状況を私は見つけたことがありません。ただし、ジェネレーターを使用しても、ジェネレーターを使用しない以外に役に立たない場合はたくさんあります。

例えば：

sorted(xrange(5))

以下を改善するものはありません。

sorted(range(5))

後で何か他のもののために値を保持する必要があり、セットのサイズが大きすぎない場合は、リスト内包を優先する必要があります。

例：プログラムの後半で数回ループするリストを作成しています。

ある程度、ジェネレーターは反復（ループ）の代わりと見なすことができますが、リスト内包表記はデータ構造の初期化の一種と考えることができます。データ構造を保持したい場合は、リスト内包表記を使用してください。