Pythonのマルチプロセスで「AttributeError:__exit__」をトラブルシューティングする方法


87

Python 3.2.2の複数のコアで実行できるように、csvを読み取るコードを書き直そうとしました。Poolマルチプロセッシングのオブジェクトを使用しようとしましたが、これは実際の例から採用したものであり、プロジェクトの別の部分ですでに機能しています)。解読とトラブルシューティングが難しいエラーメッセージが表示されました。

エラー:

Traceback (most recent call last):
  File "parser5_nodots_parallel.py", line 256, in <module>
    MG,ppl = csv2graph(r)
  File "parser5_nodots_parallel.py", line 245, in csv2graph
    node_chunks)
  File "/Library/Frameworks/Python.framework/Versions/3.2/lib/python3.2/multiprocessing/pool.py", line 251, in map
    return self.map_async(func, iterable, chunksize).get()
  File "/Library/Frameworks/Python.framework/Versions/3.2/lib/python3.2/multiprocessing/pool.py", line 552, in get
    raise self._value
AttributeError: __exit__

関連コード:

import csv
import time
import datetime
import re
from operator import itemgetter
from multiprocessing import Pool
import itertools

def chunks(l,n):
    """Divide a list of nodes `l` in `n` chunks"""
    l_c = iter(l)
    while 1:
        x = tuple(itertools.islice(l_c,n))
        if not x:
            return
        yield x

def csv2nodes(r):
    strptime = time.strptime
    mktime = time.mktime
    l = []
    ppl = set()
    pattern = re.compile(r"""[A-Za-z0-9"/]+?(?=[,\n])""")
    for row in r:
        with pattern.findall(row) as f:
            cell = int(f[3])
            id = int(f[2])
            st = mktime(strptime(f[0],'%d/%m/%Y'))
            ed = mktime(strptime(f[1],'%d/%m/%Y'))
        # collect list
        l.append([(id,cell,{1:st,2: ed})])
        # collect separate sets
        ppl.add(id)
    return (l,ppl)

def csv2graph(source):
    MG=nx.MultiGraph()
    # Remember that I use integers for edge attributes, to save space! Dic above.
    # start: 1
    # end: 2
    p = Pool()
    node_divisor = len(p._pool)
    node_chunks = list(chunks(source,int(len(source)/int(node_divisor))))
    num_chunks = len(node_chunks)
    pedgelists = p.map(csv2nodes,
                       node_chunks)
    ll = []
    ppl = set()
    for l in pedgelists:
        ll.append(l[0])
        ppl.update(l[1])
    MG.add_edges_from(ll)
    return (MG,ppl)

with open('/Users/laszlosandor/Dropbox/peers_prisons/python/codetenus_test.txt','r') as source:
    r = source.readlines()
    MG,ppl = csv2graph(r)

これをトラブルシューティングする良い方法は何ですか?


1
私の場合、Noneスコーピングの問題が原因で誤ってを渡してしまいました。
ThorSummoner

私がクラスにClass SomeClass(object):明示的に出口を持っているかのように、クラスを宣言しているときにこれがありました。継承を削除するobjectと、機能しました。なぜかわからないので、YMMV
mpag

回答:


154

問題はこの行にあります:

with pattern.findall(row) as f:

withステートメントを使用しています。メソッド__enter____exit__メソッドを持つオブジェクトが必要です。しかし、をpattern.findall返し、メソッドを格納しようとしますがlist、それを見つけることができず、エラーが発生します。使うだけwith__exit__

f = pattern.findall(row)

代わりに。


62

これはこの場合の質問者の問題ではありませんが一般的な「AttributeError:__exit__」の最初のトラブルシューティング手順では、括弧が存在することを確認する必要があります。

with SomeContextManager() as foo:
    #works because a new object is referenced...

ない

with SomeContextManager as foo:
    #AttributeError because the class is referenced

時々私を捕まえて、私はここで終わります-__-


9

このエラーは、

with multiprocessing.Pool() as pool:
   # ...

Pythonバージョンが古すぎて(Python 2.Xのように)、withマルチプロセッシングプールとの併用をサポートしていません。

(詳細については、別の質問に対するこの回答https://stackoverflow.com/a/25968716/1426569を参照してください)


うん!Python 3.Xでの作業
Sreekant Shenoy

-1

このエラーの背後にある理由は次のとおりです。Flaskアプリはすでに実行されており、シャットダウンしていないため、次のようにして別のインスタンスを開始しようとします:with app.app_context():#Code前に実行中のアプリのスコープが閉じていることを確認してください。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.