リスト内包表記は、内包範囲の後でさえ名前を再バインドします。これは正解?


118

内包には、スコーピングとの予期しない相互作用がいくつかあります。これは予想される動作ですか?

私はメソッドを持っています:

def leave_room(self, uid):
  u = self.user_by_id(uid)
  r = self.rooms[u.rid]

  other_uids = [ouid for ouid in r.users_by_id.keys() if ouid != u.uid]
  other_us = [self.user_by_id(uid) for uid in other_uids]

  r.remove_user(uid) # OOPS! uid has been re-bound by the list comprehension above

  # Interestingly, it's rebound to the last uid in the list, so the error only shows
  # up when len > 1

泣き言を言うリスクがあるので、これは残忍なエラーの原因です。新しいコードを書いていると、再バインドが原因で非常に奇妙なエラーがときどき見つかります。「リスト内包表記のtemp varは常にアンダースコアで始まる」というルールを作成する必要がありますが、それでも絶対に確実なわけではありません。

このランダムな時限爆弾の待機の種類があるという事実は、リスト内包のすべての優れた「使いやすさ」を無効にします。


7
-1:「残忍なエラーの原因」?ほとんどありません。なぜそのような議論の多い用語を選ぶのですか?一般に、最も費用のかかるエラーは、要件の誤解と単純な論理エラーです。この種のエラーは、多くのプログラミング言語で標準的な問題となっています。なぜそれを「残忍」と呼ぶのですか?
S.Lott、2010年

44
それは最小の驚きの原則に違反します。また、リスト内包表記に関するpythonのドキュメントには記載されていませんが、どれほど簡単で便利かについても何度か言及されています。本質的には、私の言語モデルの外に存在していた地雷であり、私が予測することは不可能でした。
Jabavu Adams、2010

33
「残忍なエラーのソース」の+1。「残忍」という言葉は完全に正当化されます。
ナサニエル

3
ここで私が見る唯一の「残忍な」ことは、あなたの命名規則です。これは80年代ではなく、3文字の変数名に限定されません。
UloPe 2014年

5
注:このドキュメントに、リスト理解が明示的な-loopfor構文およびfor-loopsリーク変数同等である記載されています。したがって、それは明示的ではなく、暗黙的に述べられていました。
バクリウ2015

回答:


172

リスト内包表記は、Python 2ではループ制御変数をリークしますが、Python 3ではリークしません。この背後にある履歴を説明する Guido van Rossum(Pythonの作成者)は次のとおりです。

また、リスト内包表記とジェネレータ式の間の同等性を改善するために、Python 3に別の変更を加えました。Python 2では、リスト内包表記はループ制御変数を周囲のスコープに「リーク」します。

x = 'before'
a = [x for x in 1, 2, 3]
print x # this prints '3', not 'before'

これは、リスト内包表記の元の実装の成果物でした。これは、何年もの間、Pythonの「汚い小さな秘密」の1つでした。それは、リストの理解を盲目的に速くするための意図的な妥協として始まりました。それは初心者にとって一般的な落とし穴ではありませんでしたが、間違いなく時々人々を刺しました。ジェネレータ式の場合、これを行うことはできませんでした。ジェネレータ式はジェネレータを使用して実装され、その実行には別の実行フレームが必要です。したがって、ジェネレータ式(特に短いシーケンスで反復する場合)は、リスト内包よりも効率的ではありませんでした。

ただし、Python 3では、ジェネレータ式と同じ実装戦略を使用して、リスト内包の「ダーティリトルシークレット」を修正することにしました。したがって、Python 3では、上記の例(print(x)を使用するように変更した後:-)は「before」を出力し、リスト内包表記の「x」が一時的に影になるが、周囲の「x」をオーバーライドしないことを証明します範囲。


14
さらに、Guidoはそれを「ダーティリトルシークレット」と呼んでいますが、多くはバグではなく機能であると考えていました。
Steven Rumbalski、2011年

38
また、2.7では、セット内包と辞書内包(およびジェネレータ)にプライベートスコープがありますが、リスト内包にはまだありません。これは、前者がすべてPython 3からバックポートされたという点である程度理にかなっていますが、リスト内包表記とは対照的に非常に対照的です。
マットB.

7
私はこれがめちゃくちゃ古い質問であることを知っていますが、なぜそれが言語の特徴であると考えられたのですか?この種の変数リークを支持するものはありますか?
MathiasMüller2015

2
for:ループのリークには、特に理由があります。初期の後に最後の値にアクセスするbreak—しかし、内包には関係ありません。人々が式の途中で変数を割り当てたいと思ったcomp.lang.pythonの議論を思い出します。それほど非常識な方法をFOUNDは、節などのための単一値でした。sum100 = [s for s in [0] for i in range(1, 101) for s in [s + i]][-1]、ただし内包ローカルvarが必要で、Python 3でも同様に機能します。式の外部で変数を可視に設定するには、「リーク」が唯一の方法だと思います。誰もがこれらのテクニックは恐ろしいことに同意しました:-)
Beni Cherniavsky-Paskin

1
ここでの問題は、リスト内包表記の周囲のスコープにアクセスできないことですが、リスト内包表記スコープでバインドすると、周囲のスコープに影響します。
フェリペゴンサルベスマルケス2018

48

はい、ループの場合と同様に、Python 2.xで内包表記を変数に「リーク」させます。

振り返ってみると、これは間違いであると認識され、ジェネレータ式で回避されました。編集: Matt Bが指摘しているように、設定および辞書内包構文がPython 3からバックポートされた場合も回避されました。

リスト内包表記の動作は、Python 2のままにする必要がありましたが、Python 3では完全に修正されています。

これは、次のすべてのことを意味します。

list(x for x in a if x>32)
set(x//4 for x in a if x>32)         # just another generator exp.
dict((x, x//16) for x in a if x>32)  # yet another generator exp.
{x//4 for x in a if x>32}            # 2.7+ syntax
{x: x//16 for x in a if x>32}        # 2.7+ syntax

これらxは常に式に対してローカルですが、これらは次のとおりです。

[x for x in a if x>32]
set([x//4 for x in a if x>32])         # just another list comp.
dict([(x, x//16) for x in a if x>32])  # yet another list comp.

Python 2.xでは、すべてのx変数が周囲のスコープにリークされます。


Python 3.8(?)の更新PEP 572:=意図的に内包表記やジェネレータ式からリークする代入演算子を導入します!これは、基本的に2ユースケースが動機です:のような早期終了の関数からの「証人」を捕獲するany()all()

if any((comment := line).startswith('#') for line in lines):
    print("First comment:", comment)
else:
    print("There are no comments")

変更可能な状態を更新します:

total = 0
partial_sums = [total := total + v for v in values]

正確なスコープについては、付録Bを参照してください。変数は、周囲の最も近くに割り当てられているdefか、lambdaその関数は、それを宣言しない限り、nonlocalまたはglobal


7

はい、forループの場合と同じように、割り当てがそこで行われます。新しいスコープは作成されていません。

これは間違いなく予想される動作です。各サイクルで、値は指定した名前にバインドされます。例えば、

>>> x=0
>>> a=[1,54,4,2,32,234,5234,]
>>> [x for x in a if x>32]
[54, 234, 5234]
>>> x
5234

それが認識されれば、回避するのは十分簡単のようです。内包内の変数に既存の名前を使用しないでください。


2

興味深いことに、これは辞書やセット内包に影響を与えません。

>>> [x for x in range(1, 10)]
[1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> x
9
>>> {x for x in range(1, 5)}
set([1, 2, 3, 4])
>>> x
9
>>> {x:x for x in range(1, 100)}
{1: 1, 2: 2, 3: 3, 4: 4, 5: 5, 6: 6, 7: 7, 8: 8, 9: 9, 10: 10, 11: 11, 12: 12, 13: 13, 14: 14, 15: 15, 16: 16, 17: 17, 18: 18, 19: 19, 20: 20, 21: 21, 22: 22, 23: 23, 24: 24, 25: 25, 26: 26, 27: 27, 28: 28, 29: 29, 30: 30, 31: 31, 32: 32, 33: 33, 34: 34, 35: 35, 36: 36, 37: 37, 38: 38, 39: 39, 40: 40, 41: 41, 42: 42, 43: 43, 44: 44, 45: 45, 46: 46, 47: 47, 48: 48, 49: 49, 50: 50, 51: 51, 52: 52, 53: 53, 54: 54, 55: 55, 56: 56, 57: 57, 58: 58, 59: 59, 60: 60, 61: 61, 62: 62, 63: 63, 64: 64, 65: 65, 66: 66, 67: 67, 68: 68, 69: 69, 70: 70, 71: 71, 72: 72, 73: 73, 74: 74, 75: 75, 76: 76, 77: 77, 78: 78, 79: 79, 80: 80, 81: 81, 82: 82, 83: 83, 84: 84, 85: 85, 86: 86, 87: 87, 88: 88, 89: 89, 90: 90, 91: 91, 92: 92, 93: 93, 94: 94, 95: 95, 96: 96, 97: 97, 98: 98, 99: 99}
>>> x
9

ただし、上記のように3で修正されています。


その構文は、Python 2.6ではまったく機能しません。あなたはPython 2.7について話しているのですか?
ポールホリングスワース2017年

Python 2.6には、Python 3.0と同様にリスト内包表記があります。3.1は、セットと辞書の理解を追加し、これらは2.7に移植されました。それが明確でない場合は申し訳ありません。それは別の回答への制限を指摘することを意図しており、それが適用されるバージョンは完全に簡単ではありません。
Chris Travers

新しいコードにpython 2.7を使用するのが理にかなっている場合があると主張することは想像できますが、私はpython 2.6について同じことを言うことはできません... 2.6がOSに付属しているものであっても、あなたは困ることはありませんそれ。virtualenvをインストールし、新しいコードに3.6を使用することを検討してください!
Alex L

既存のレガシーシステムを維持する上で、Python 2.6に関するポイントが浮かぶ可能性があります。ですから、歴史的な注意として、それは完全に無関係ではありません。3.0(ick)と同じ
Chris Travers

失礼に聞こえますが申し訳ありませんが、これでは質問の答えにはなりません。コメントとして適しています。
0xc0de

1

この動作が望ましくない場合のpython 2.6の回避策

# python
Python 2.6.6 (r266:84292, Aug  9 2016, 06:11:56)
Type "help", "copyright", "credits" or "license" for more information.
>>> x=0
>>> a=list(x for x in xrange(9))
>>> x
0
>>> a=[x for x in xrange(9)]
>>> x
8

-1

python3では、リスト内包にある間、変数はスコープを超えても変更されませんが、単純なforループを使用すると、変数がスコープ外に再割り当てされます。

i = 1 print(i)print([i in range(5)])print(i)iの値は1のままです。

ここで単にforループを使用して、iの値が再割り当てされます。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.