2つの同じリストのメモリフットプリントが異なるのはなぜですか？

私は2つのリストl1とを作成しましたl2が、それぞれに異なる作成方法を使用しています。

import sys

l1 = [None] * 10
l2 = [None for _ in range(10)]

print('Size of l1 =', sys.getsizeof(l1))
print('Size of l2 =', sys.getsizeof(l2))

しかし、出力は私を驚かせました：

Size of l1 = 144
Size of l2 = 192

リスト内包表記で作成されたリストはメモリ内でサイズが大きくなりますが、それ以外の2つのリストはPythonでは同じです。

何故ですか？これはCPythonの内部的なものですか、それとも他の説明ですか？

を記述すると[None] * 10、Pythonは正確に10個のオブジェクトのリストが必要であることを認識しているため、それを正確に割り当てます。

リスト内包表記を使用すると、Pythonはそれがどれだけ必要になるかわかりません。そのため、要素が追加されると、リストが徐々に大きくなります。再割り当てごとに、すぐに必要となるよりも多くの部屋が割り当てられるため、各要素に再割り当てする必要はありません。結果のリストは必要以上に大きくなる可能性があります。

同様のサイズで作成されたリストを比較すると、この動作がわかります。

>>> sys.getsizeof([None]*15)
184
>>> sys.getsizeof([None]*16)
192
>>> sys.getsizeof([None for _ in range(15)])
192
>>> sys.getsizeof([None for _ in range(16)])
192
>>> sys.getsizeof([None for _ in range(17)])
264

最初の方法では必要なものだけが割り当てられ、2番目の方法では定期的に増加することがわかります。この例では、16個の要素に十分に割り当てられており、17番目に達すると再割り当てする必要がありました。

この質問で述べたように、list-comprehensionはlist.append内部で使用しているので、overallocateするlist-resizeメソッドを呼び出します。

これを実際に示すために、実際にdis逆アセンブラを使用できます。

>>> code = compile('[x for x in iterable]', '', 'eval')
>>> import dis
>>> dis.dis(code)
  1           0 LOAD_CONST               0 (<code object <listcomp> at 0x10560b810, file "", line 1>)
              2 LOAD_CONST               1 ('<listcomp>')
              4 MAKE_FUNCTION            0
              6 LOAD_NAME                0 (iterable)
              8 GET_ITER
             10 CALL_FUNCTION            1
             12 RETURN_VALUE

Disassembly of <code object <listcomp> at 0x10560b810, file "", line 1>:
  1           0 BUILD_LIST               0
              2 LOAD_FAST                0 (.0)
        >>    4 FOR_ITER                 8 (to 14)
              6 STORE_FAST               1 (x)
              8 LOAD_FAST                1 (x)
             10 LIST_APPEND              2
             12 JUMP_ABSOLUTE            4
        >>   14 RETURN_VALUE
>>>

コードオブジェクトのLIST_APPEND逆アセンブリのオペコードに注意してください<listcomp>。ドキュメントから：

LIST_APPEND（i）

を呼び出しますlist.append(TOS[-i], TOS)。リスト内包表記を実装するために使用されます。

ここで、リスト反復操作について、考えれば何が起こっているかについてのヒントがあります。

>>> import sys
>>> sys.getsizeof([])
64
>>> 8*10
80
>>> 64 + 80
144
>>> sys.getsizeof([None]*10)
144

したがって、サイズを正確に割り当てることができるようです。見ると、ソースコード、我々はこの問題が発生した正確に何である参照してください。

static PyObject *
list_repeat(PyListObject *a, Py_ssize_t n)
{
    Py_ssize_t i, j;
    Py_ssize_t size;
    PyListObject *np;
    PyObject **p, **items;
    PyObject *elem;
    if (n < 0)
        n = 0;
    if (n > 0 && Py_SIZE(a) > PY_SSIZE_T_MAX / n)
        return PyErr_NoMemory();
    size = Py_SIZE(a) * n;
    if (size == 0)
        return PyList_New(0);
    np = (PyListObject *) PyList_New(size);

つまり、ここではsize = Py_SIZE(a) * n;。残りの関数は単に配列を埋めます。

どれもメモリのブロックではありませんが、事前に指定されたサイズではありません。それに加えて、配列要素間の配列には余分な間隔があります。次のコマンドを実行すると、これを自分で確認できます。

for ele in l2:
    print(sys.getsizeof(ele))

>>>>16
16
16
16
16
16
16
16
16
16

これはl2のサイズの合計ではなく、むしろ小さくなります。

print(sys.getsizeof([None]))
72

そして、これはのサイズの1/10をはるかに超えていl1ます。

数値は、オペレーティングシステムの詳細とオペレーティングシステムでの現在のメモリ使用量の詳細の両方に応じて異なります。[なし]のサイズは、変数が格納されるように設定されている使用可能な隣接メモリよりも大きくなることはありません。後で動的に割り当てられる場合、変数を移動する必要がある場合があります。