ジェネレータ式とリスト内包表記

Pythonではいつジェネレーター式を使用し、リスト内包表記を使用する必要がありますか？

# Generator expression
(x*2 for x in range(256))

# List comprehension
[x*2 for x in range(256)]

Johnの答えは適切です（そのリスト内包表記は、何かを何度も繰り返し処理したい場合に適しています）。ただし、リストメソッドのいずれかを使用する場合は、リストを使用する必要があることにも注意してください。たとえば、次のコードは機能しません。

def gen():
    return (something for something in get_some_stuff())

print gen()[:2]     # generators don't support indexing or slicing
print [5,6] + gen() # generators can't be added to lists

基本的には、実行する処理が1回だけである場合はジェネレータ式を使用します。生成された結果を保存して使用したい場合は、おそらくリストの理解力が良いでしょう。

パフォーマンスがどちらか一方を選択する最も一般的な理由であるため、私のアドバイスは、それを心配せずに1つだけを選択することです。プログラムの実行速度が遅すぎることがわかった場合は、その場合にのみ、戻ってコードのチューニングについて心配する必要があります。

ジェネレータ式またはリスト内包を反復することは同じことを行います。ただし、リスト内包表記は最初にメモリ内にリスト全体を作成し、ジェネレータ式はオンザフライでアイテムを作成するため、非常に大きな（そして無限！）シーケンスにそれを使用できます。

結果を複数回繰り返す必要がある場合、または速度が最も重要な場合は、リスト内包表記を使用します。範囲が大きいか無限であるジェネレータ式を使用します。

見る ジェネレータ式とリスト内包表記をしてください。

重要な点は、リスト内包表記が新しいリストを作成することです。ジェネレーターは反復可能なオブジェクトを作成します。これは、ビットを消費するときにオンザフライでソースマテリアルを「フィルター」します。

「hugefile.txt」という2TBのログファイルがあり、「ENTRY」という単語で始まるすべての行の内容と長さが必要だとします。

したがって、リスト内包表記を作成することから始めます。

logfile = open("hugefile.txt","r")
entry_lines = [(line,len(line)) for line in logfile if line.startswith("ENTRY")]

これにより、ファイル全体が丸められ、各行が処理され、一致する行が配列に格納されます。したがって、このアレイには最大2TBのコンテンツを含めることができます。これは大量のRAMであり、おそらくあなたの目的には実用的ではありません。

代わりに、ジェネレータを使用してコンテンツに「フィルタ」を適用できます。結果の反復を開始するまで、実際にはデータは読み取られません。

logfile = open("hugefile.txt","r")
entry_lines = ((line,len(line)) for line in logfile if line.startswith("ENTRY"))

まだ1行もファイルから読み込まれていません。実際、結果をさらにフィルタリングしたいとします。

long_entries = ((line,length) for (line,length) in entry_lines if length > 80)

まだ何も読み込まれていませんが、ここでは、希望どおりにデータを操作する2つのジェネレータを指定しました。

フィルター処理された行を別のファイルに書き込みます。

outfile = open("filtered.txt","a")
for entry,length in long_entries:
    outfile.write(entry)

次に、入力ファイルを読み取ります。私たちのようforループが追加の行を要求し続け、long_entries発電機からのラインを要求しentry_lines、その長さが80文字を超えるものだけを返す、発電機。そして今度は、entry_linesジェネレーターは（示されているようにフィルターされた）行をlogfileイテレーターイテレーターがファイルを読み取ります。

したがって、完全に入力されたリストの形式でデータを出力関数に「プッシュ」する代わりに、必要な場合にのみ出力関数にデータを「プル」する方法を提供します。私たちの場合、これははるかに効率的ですが、それほど柔軟ではありません。ジェネレーターは一方向、ワンパスです。読み込んだログファイルのデータはすぐに破棄されるため、前の行に戻ることはできません。一方、データを使い終わったら、データを保持する必要はありません。

ジェネレータ式の利点は、リスト全体を一度に作成しないため、使用するメモリが少ないことです。ジェネレータ式は、リストが結果の合計や結果からの辞書の作成などの仲介者である場合に最適に使用されます。

例えば：

sum(x*2 for x in xrange(256))

dict( (k, some_func(k)) for k in some_list_of_keys )

利点は、リストが完全に生成されないため、メモリがほとんど使用されないことです（また、より高速になるはずです）。

ただし、目的の最終製品がリストである場合は、リスト内包表記を使用する必要があります。生成されたリストが必要なので、ジェネレータ式を使用してメモリを保存しません。また、並べ替えや反転などのリスト関数を使用できるという利点もあります。

例えば：

reversed( [x*2 for x in xrange(256)] )

可変オブジェクト（リストなど）からジェネレータを作成する場合、ジェネレータは、ジェネレータの作成時ではなく、ジェネレータの使用時にリストの状態で評価されることに注意してください。

>>> mylist = ["a", "b", "c"]
>>> gen = (elem + "1" for elem in mylist)
>>> mylist.clear()
>>> for x in gen: print (x)
# nothing

リストが変更される可能性がある場合（またはそのリスト内の変更可能なオブジェクト）、ジェネレーターの作成時の状態が必要な場合は、代わりにリスト内包を使用する必要があります。

itertoolsからtee関数を回避できる場合があります。これは、独立して使用できる同じジェネレーターの複数のイテレーターを返します。

私はHadoop Mincemeatモジュールを使用しています。これは、次の点に注意してください。

import mincemeat

def mapfn(k,v):
    for w in v:
        yield 'sum',w
        #yield 'count',1


def reducefn(k,v): 
    r1=sum(v)
    r2=len(v)
    print r2
    m=r1/r2
    std=0
    for i in range(r2):
       std+=pow(abs(v[i]-m),2)  
    res=pow((std/r2),0.5)
    return r1,r2,res

ここで、ジェネレーターはテキストファイル（最大15GB）から数値を取得し、Hadoopのmap-reduceを使用してこれらの数値に単純な計算を適用します。収量関数ではなくリスト内包表記を使用した場合、合計と平均の計算にはるかに長い時間がかかります（スペースの複雑さは言うまでもありません）。

Hadoopは、ジェネレーターのすべての利点を活用するための優れた例です。