Python構造のメモリ内サイズ


118

32ビットおよび64ビットプラットフォームでのPythonデータ構造のメモリサイズのリファレンスはありますか?

そうでない場合、これはSOで使用すると便利です。完全であるほど良いです!では、次のPython構造で何バイトが使用されているのか(lenおよびコンテンツタイプによって異なります)?

  • int
  • float
  • 参照
  • str
  • Unicode文字列
  • tuple
  • list
  • dict
  • set
  • array.array
  • numpy.array
  • deque
  • 新しいスタイルのクラスオブジェクト
  • 古いスタイルのクラスオブジェクト
  • ...そして私が忘れているすべて!

(他のオブジェクトへの参照のみを保持するコンテナーの場合、アイテム自体が共有される可能性があるため、アイテム自体のサイズをカウントしたくないことは明らかです。)

さらに、実行時にオブジェクトによって使用されるメモリを(再帰的に、または再帰的に)取得する方法はありますか?


多くの役立つ説明がここにありますstackoverflow.com/questions/1059674/python-memory-model。でも、もっと体系的な概要を見たいのですが
LeMiz 2009

3
NumPy配列のa場合は、を使用しますa.nbytes
ウィル

あなたはこれをグラフィック表示に興味があるなら、私は一度のプロットを作っ:stackoverflow.com/a/30008338/2087463を
tmthydvnprt

回答:


145

これに関する以前の質問からの推奨は、引用してsys.getsizeof()を使用することでした

>>> import sys
>>> x = 2
>>> sys.getsizeof(x)
14
>>> sys.getsizeof(sys.getsizeof)
32
>>> sys.getsizeof('this')
38
>>> sys.getsizeof('this also')
48

あなたはこのアプローチを取ることができます:

>>> import sys
>>> import decimal
>>> 
>>> d = {
...     "int": 0,
...     "float": 0.0,
...     "dict": dict(),
...     "set": set(),
...     "tuple": tuple(),
...     "list": list(),
...     "str": "a",
...     "unicode": u"a",
...     "decimal": decimal.Decimal(0),
...     "object": object(),
... }
>>> for k, v in sorted(d.iteritems()):
...     print k, sys.getsizeof(v)
...
decimal 40
dict 140
float 16
int 12
list 36
object 8
set 116
str 25
tuple 28
unicode 28

2012-09-30

python 2.7(linux、32ビット):

decimal 36
dict 136
float 16
int 12
list 32
object 8
set 112
str 22
tuple 24
unicode 32

python 3.3(linux、32ビット)

decimal 52
dict 144
float 16
int 14
list 32
object 8
set 112
str 26
tuple 24
unicode 26

2016-08-01

OSX、Python 2.7.10(デフォルト、2015年10月23日、19:19:21)[GCC 4.2.1互換Apple LLVM 7.0.0(clang-700.0.59.5)] darwin

decimal 80
dict 280
float 24
int 24
list 72
object 16
set 232
str 38
tuple 56
unicode 52

1
おかげで、2番目の質問のデュープをごめんなさい...残念ながら私は2.5ではなく2.5を使用しています...
LeMiz

最近のubuntuが入った仮想ボックスがあったのを忘れました!それは奇妙です、sys.getsizeof(dict)は私にとって136です(kubuntu vm上で実行されるpython 2.6、OS Xによってホストされているので、私は何も
わかり

@LeMiz:私(Python 2.6、Windows XP SP3)の場合、sys.getsizeof(dict)-> 436; sys.getsizeof(dict())-> 140
John Machin

LeMiz-Kubuntu:python2.6 Python 2.6.2(release26-maint、2009年4月19日01:56:41)[GCC 4.3.3] on linux2「help」、「copyright」、「credits」、または「license」と入力します詳細については。>>>インポートシステム>>> sys.getsizeof(dict)436 >>> sys.getsizeof(dict())136
LeMiz 2009

1
値はすべきではない00.0''およびu''一貫性のために?
SilentGhost 2009

37

私はそのようなタスクのためにPymplerを楽しく使っています。Pythonの多くのバージョンと互換性があります- asizeof特にモジュールは2.2に戻ります!

たとえば、hughdbrownの例を使用していますがfrom pympler import asizeof、最初とprint asizeof.asizeof(v)最後に(MacOSX 10.5上のシステムPython 2.5)があります。

$ python pymp.py 
set 120
unicode 32
tuple 32
int 16
decimal 152
float 16
list 40
object 0
dict 144
str 32

ここには明らかにいくつかの近似がありますが、フットプリントの分析と調整に非常に役立つことがわかりました。


1
いくつかの好奇心:あなたのほとんどの数字は4高いです。オブジェクトは0です。そして、小数はあなたの見積もりによって約4倍大きいです。
hughdbrown、2009

1
うん。「4より大きい」は、実際にはほとんど「8の倍数に切り上げる」のように見えます。これは、mallocがここで動作する方法としては正しいと思います。10進数がそれほど歪んでいる理由がわかりません(2.6のpymplerでも)。
Alex Martelli、

2
実際には、pympler.asizeof.flatsize()を使用して、sys.getsizeof()と同様の機能を取得する必要があります。使用できるalign =パラメータもあります(Alexが指摘したように、デフォルトでは8です)。
Pankrat、2009

@AlexMartelliこんにちはアレックス!.. Pythonのcharの最小サイズが25バイトである理由。 >>> getsizeof('a')与え25>>> getsizeof('ab')なります26`
Grijesh Chauhan

1
サイズはバイト単位だと思いますが、pythonhosted.org
Pympler

34

これらの答えはすべて浅いサイズ情報を収集します。この質問への訪問者は、「メモリ内のこの複雑なオブジェクトの大きさは?」

ここに素晴らしい答えがあります:https : //goshippo.com/blog/measure-real-size-any-python-object/

パンチライン:

import sys

def get_size(obj, seen=None):
    """Recursively finds size of objects"""
    size = sys.getsizeof(obj)
    if seen is None:
        seen = set()
    obj_id = id(obj)
    if obj_id in seen:
        return 0
    # Important mark as seen *before* entering recursion to gracefully handle
    # self-referential objects
    seen.add(obj_id)
    if isinstance(obj, dict):
        size += sum([get_size(v, seen) for v in obj.values()])
        size += sum([get_size(k, seen) for k in obj.keys()])
    elif hasattr(obj, '__dict__'):
        size += get_size(obj.__dict__, seen)
    elif hasattr(obj, '__iter__') and not isinstance(obj, (str, bytes, bytearray)):
        size += sum([get_size(i, seen) for i in obj])
    return size

そのように使用:

In [1]: get_size(1)
Out[1]: 24

In [2]: get_size([1])
Out[2]: 104

In [3]: get_size([[1]])
Out[3]: 184

Pythonのメモリモデルをより深く知りたい場合は、こちらの優れた記事で、詳細な説明の一部として同様の「合計サイズ」のコードスニペットをご覧ください。https//code.tutsplus.com/tutorials/understand-how- much-memory-your-python-objects-use--cms-25609


したがって、これは、たとえば、複数の配列を含む辞書や他の辞書によって使用されるメモリの総量をもたらすはずですか?
Charly Empereur-mot

1
@ CharlyEmpereur-motうん。
コボルド

すばらしい答えです。ただし、コンパイルされたcythonオブジェクトでは機能しないようです。私の場合、このメソッドは96、メモリ内のcythonオブジェクトへのポインタを返します
ferdynator

8

メモリプロファイラーを試してください。 メモリプロファイラー

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

1
精度は1 / 100MB、つまり10.24バイトのようです。これはマクロ分析には問題ありませんが、そのような精度がデータ構造の正確な比較につながるかどうかは疑問です。
Zoran Pavlovic

7

また、guppyモジュールを使用することもできます。

>>> from guppy import hpy; hp=hpy()
>>> hp.heap()
Partition of a set of 25853 objects. Total size = 3320992 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0  11731  45   929072  28    929072  28 str
     1   5832  23   469760  14   1398832  42 tuple
     2    324   1   277728   8   1676560  50 dict (no owner)
     3     70   0   216976   7   1893536  57 dict of module
     4    199   1   210856   6   2104392  63 dict of type
     5   1627   6   208256   6   2312648  70 types.CodeType
     6   1592   6   191040   6   2503688  75 function
     7    199   1   177008   5   2680696  81 type
     8    124   0   135328   4   2816024  85 dict of class
     9   1045   4    83600   3   2899624  87 __builtin__.wrapper_descriptor
<90 more rows. Type e.g. '_.more' to view.>

そして:

>>> hp.iso(1, [1], "1", (1,), {1:1}, None)
Partition of a set of 6 objects. Total size = 560 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0      1  17      280  50       280  50 dict (no owner)
     1      1  17      136  24       416  74 list
     2      1  17       64  11       480  86 tuple
     3      1  17       40   7       520  93 str
     4      1  17       24   4       544  97 int
     5      1  17       16   3       560 100 types.NoneType

0

tracemallocPython標準ライブラリのモジュールを利用することもできます。(たとえば、Pymplerとは異なり)クラスがCで実装されているオブジェクトに対してはうまく機能するようです。


-1

dir([object])組み込み関数を使用すると、組み込み関数のを取得でき__sizeof__ます。

>>> a = -1
>>> a.__sizeof__()
24
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.