Pythonでメモリを明示的に解放するにはどうすればよいですか？

大きな入力ファイルを操作して三角形を表す数百万のオブジェクトを作成するPythonプログラムを作成しました。アルゴリズムは次のとおりです。

1. 入力ファイルを読み込む
2. ファイルを処理し、頂点で表される三角形のリストを作成する
3. 頂点をOFF形式で出力します。頂点のリストの後に三角形のリストが続きます。三角形は頂点のリストへのインデックスで表されます

三角形を出力する前に頂点の完全なリストを出力するというOFFの要件は、出力をファイルに書き込む前に三角形のリストをメモリに保持する必要があることを意味します。その間、リストのサイズが原因でメモリエラーが発生します。

一部のデータが不要になり、解放できることをPythonに伝える最善の方法は何ですか？

Pythonの公式ドキュメントによると、ガベージコレクターに参照されていないメモリを強制的に解放させることができますgc.collect()。例：

import gc
gc.collect()

残念ながら（Pythonのバージョンとリリースに応じて）、一部のタイプのオブジェクトは「フリーリスト」を使用しますが、これはきちんとしたローカル最適化ですが、特定のタイプのオブジェクトのみに「メモリ」を「マーク」することにより、メモリの断片化を引き起こす可能性があります。それにより「一般基金」は利用できません。

メモリの大規模で一時的な使用がすべてのリソースをシステムに返すことを確実にする唯一の本当に信頼できる方法は、その使用をサブプロセスで実行し、メモリを大量に消費する作業を終了させることです。このような状況下では、オペレーティングシステムがその役割を果たし、サブプロセスが消費したすべてのリソースを喜んでリサイクルします。幸いなことに、このmultiprocessingモジュールは、この種の操作（以前はかなり面倒でした）を最新バージョンのPythonではそれほど悪くしません。

あなたのユースケースでは、サブプロセスがいくつかの結果を蓄積し、それらの結果がメインプロセスで利用可能であることを保証する最善の方法は、セミテンポラリファイルを使用することです（つまり、セミテンポラリファイルではなく、閉じたときに自動的に消えます。通常のファイルは、すべて完了したら明示的に削除します）。

del声明は、使用のかもしれませんが、IIRC 、メモリを解放することは保証されません。ドキュメントはここにある ...そして、それが解除されていない理由はここにあります。

LinuxおよびUnixタイプのシステムを使用している人が、Pythonプロセスに作業を依頼して結果を出し、それを強制終了するのを聞いたことがあります。

この記事にはPythonガベージコレクターに関するメモがありますが、メモリ制御の欠如はマネージメモリの欠点です

Pythonはガベージコレクションされるため、リストのサイズを小さくすると、メモリが解放されます。「del」ステートメントを使用して、変数を完全に取り除くこともできます。

biglist = [blah,blah,blah]
#...
del biglist

明示的にメモリを解放することはできません。オブジェクトへの参照を保持しないようにする必要があります。その後、ガベージコレクションが行われ、メモリが解放されます。

大規模なリストが必要な場合、通常は代わりにジェネレーター/イテレーターを使用して、コードを再編成する必要があります。そうすれば、メモリに大きなリストを置く必要がまったくなくなります。

http://www.prasannatech.net/2009/07/introduction-python-generators.html

（del他の参照がない場合にオブジェクトを削除可能としてマークするので、あなたの友達になることができます。現在、多くの場合、CPythonインタープリターが後で使用するためにこのメモリを保持しているため、オペレーティングシステムが「解放された」メモリを認識しない場合があります。）

データにもっとコンパクトな構造を使用することで、最初からメモリの問題に直面することはないでしょう。したがって、数値のリストは、標準arrayモジュールまたはサードパーティnumpyモジュールで使用される形式よりもメモリ効率がはるかに低くなります。頂点をNumPy 3xN配列に配置し、三角形をN要素配列に配置することで、メモリを節約できます。

ファイルからグラフを読み取る際にも同様の問題がありました。処理には、メモリに収まらない200 000x200 000のフロートマトリックス（一度に1行）の計算が含まれていました。gc.collect()問題のメモリ関連の側面を修正して計算間でメモリを解放しようとすると、パフォーマンスの問題が発生しました。理由はわかりませんが、使用されるメモリの量は一定のままでしたが、新しい呼び出しを行うgc.collect()たびに、前のもの。そのため、ガベージコレクションは、計算時間のほとんどを非常に速く費やしました。

メモリとパフォーマンスの両方の問題を修正するために、どこかで一度読んだマルチスレッドトリックの使用に切り替えました（申し訳ありませんが、関連する投稿はもう見つかりません）。大きなforループでファイルの各行を読み取り、処理し、時々実行しgc.collect()てメモリ領域を解放する前に。次に、新しいスレッドでファイルのチャンクを読み取って処理する関数を呼び出します。スレッドが終了すると、奇妙なパフォーマンスの問題なしにメモリが自動的に解放されます。

実際には次のように機能します。

from dask import delayed  # this module wraps the multithreading
def f(storage, index, chunk_size):  # the processing function
    # read the chunk of size chunk_size starting at index in the file
    # process it using data in storage if needed
    # append data needed for further computations  to storage 
    return storage

partial_result = delayed([])  # put into the delayed() the constructor for your data structure
# I personally use "delayed(nx.Graph())" since I am creating a networkx Graph
chunk_size = 100  # ideally you want this as big as possible while still enabling the computations to fit in memory
for index in range(0, len(file), chunk_size):
    # we indicates to dask that we will want to apply f to the parameters partial_result, index, chunk_size
    partial_result = delayed(f)(partial_result, index, chunk_size)

    # no computations are done yet !
    # dask will spawn a thread to run f(partial_result, index, chunk_size) once we call partial_result.compute()
    # passing the previous "partial_result" variable in the parameters assures a chunk will only be processed after the previous one is done
    # it also allows you to use the results of the processing of the previous chunks in the file if needed

# this launches all the computations
result = partial_result.compute()

# one thread is spawned for each "delayed" one at a time to compute its result
# dask then closes the tread, which solves the memory freeing issue
# the strange performance issue with gc.collect() is also avoided

他の人たちは、Pythonインタープリターを "coax"してメモリを解放できる（またはメモリの問題を回避できる）いくつかの方法を投稿しています。おそらく、最初に彼らのアイデアを試してみる必要があります。しかし、あなたの質問に直接答えることが重要だと思います。

Pythonにメモリを解放するように直接指示する方法は実際にはありません。実際のところ、その低いレベルの制御が必要な場合は、CまたはC ++で拡張機能を作成する必要があります。

とはいえ、これを支援するいくつかのツールがあります：

• シトン
• 小枝
• ブーストパイソン

頂点の再利用を気にしない場合は、2つの出力ファイルを作成できます。1つは頂点用、もう1つは三角形用です。次に、三角形ファイルを頂点ファイルに追加します。