DataFrame行をシャッフルする

次のDataFrameがあります。

    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
...
20     7     8     9     2
21    10    11    12     2
...
45    13    14    15     3
46    16    17    18     3
...

DataFrameはcsvファイルから読み取られます。Type1を含むすべての行が一番上にあり、Type2 の行が続き、Type3 の行が続きます。

すべてTypeのが混在するように、DataFrameの行の順序を入れ替えたいのですが。考えられる結果は次のとおりです。

    Col1  Col2  Col3  Type
0      7     8     9     2
1     13    14    15     3
...
20     1     2     3     1
21    10    11    12     2
...
45     4     5     6     1
46    16    17    18     3
...

どうすればこれを達成できますか？

Pandasでこれを行う慣用的な.sample方法は、データフレームのメソッドを使用して、置換なしですべての行をサンプリングすることです。

df.sample(frac=1)

fracので、キーワードの引数は、ランダムなサンプルに返す行の割合を指定するfrac=1手段は、すべての行（順不同）を返します。

注： データフレームをインプレースでシャッフルしてインデックスをリセットする場合は、たとえば次のようにします。

df = df.sample(frac=1).reset_index(drop=True)

ここで、指定drop=Trueすると.reset_index、古いインデックスエントリを含む列が作成されなくなります。

追加メモ：上記の操作がインプレースであるように見えない場合もありますが、python / pandasは、シャッフルされたオブジェクトに対して別のmallocを実行しないように十分にスマートです。それはあっても、基準オブジェクトが変更された（I意味れるid(df_old)と同じではないid(df_new)）、下にあるCオブジェクトは依然として同じです。これが実際に当てはまることを示すには、単純なメモリプロファイラーを実行します。

$ python3 -m memory_profiler .\test.py
Filename: .\test.py

Line #    Mem usage    Increment   Line Contents
================================================
     5     68.5 MiB     68.5 MiB   @profile
     6                             def shuffle():
     7    847.8 MiB    779.3 MiB       df = pd.DataFrame(np.random.randn(100, 1000000))
     8    847.9 MiB      0.1 MiB       df = df.sample(frac=1).reset_index(drop=True)

これには単にsklearnを使用できます

from sklearn.utils import shuffle
df = shuffle(df)

シャッフルされたインデックスでインデックスを作成することにより、データフレームの行をシャッフルできます。これのために、あなたは例えば使うことができますnp.random.permutation（しかしnp.random.choice、可能性もあります）：

In [12]: df = pd.read_csv(StringIO(s), sep="\s+")

In [13]: df
Out[13]: 
    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
20     7     8     9     2
21    10    11    12     2
45    13    14    15     3
46    16    17    18     3

In [14]: df.iloc[np.random.permutation(len(df))]
Out[14]: 
    Col1  Col2  Col3  Type
46    16    17    18     3
45    13    14    15     3
20     7     8     9     2
0      1     2     3     1
1      4     5     6     1
21    10    11    12     2

例のように、インデックス番号を1、2、..、nから維持したい場合は、単にインデックスをリセットできます。 df_shuffled.reset_index(drop=True)

TL; DR：np.random.shuffle(ndarray)仕事ができる。
だから、あなたの場合

np.random.shuffle(DataFrame.values)

DataFrame内部では、NumPy ndarrayをデータホルダーとして使用します。（DataFrameのソースコードから確認できます）

したがって、を使用するとnp.random.shuffle()、多次元配列の最初の軸に沿って配列がシャッフルされます。ただし、DataFrame残りのインデックスは変更されません。

ただし、考慮すべき点がいくつかあります。

• 関数は何も返しません。元のオブジェクトのコピーを保持したい場合は、関数に渡す前に保持する必要があります。
• sklearn.utils.shuffle()、ユーザーtj89が示唆したように、random_state出力を制御する別のオプションとともに指定できます。あなたは開発目的のためにそれを望むかもしれません。
• sklearn.utils.shuffle()より速いです。しかしDataFrame、ndarrayそれに含まれるの軸情報（インデックス、列）をシャッフルします。

ベンチマーク結果

間sklearn.utils.shuffle()とnp.random.shuffle()。

ndarray

nd = sklearn.utils.shuffle(nd)

0.10793248389381915秒。8倍高速

np.random.shuffle(nd)

0.8897626010002568秒

DataFrame

df = sklearn.utils.shuffle(df)

0.3183923360193148秒 3倍高速

np.random.shuffle(df.values)

0.9357550159329548秒

結論：ndarrayと共に軸情報（インデックス、列）をシャッフルしても問題ない場合は、を使用しますsklearn.utils.shuffle()。それ以外の場合は、np.random.shuffle()

使用されたコード

import timeit
setup = '''
import numpy as np
import pandas as pd
import sklearn
nd = np.random.random((1000, 100))
df = pd.DataFrame(nd)
'''

timeit.timeit('nd = sklearn.utils.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('df = sklearn.utils.shuffle(df)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(df.values)', setup=setup, number=1000)

pythonベンチマーク

（私はこれをトップの投稿でコメントするのに十分な評判がないので、誰かが私のためにそれをすることができることを望みます。）最初の方法についての懸念が提起されました：

df.sample(frac=1)

ディープコピーを作成したか、データフレームを変更しただけです。次のコードを実行しました。

print(hex(id(df)))
print(hex(id(df.sample(frac=1))))
print(hex(id(df.sample(frac=1).reset_index(drop=True))))

そして私の結果は：

0x1f8a784d400
0x1f8b9d65e10
0x1f8b9d65b70

これは、最後のコメントで提案されたように、メソッドが同じオブジェクトを返さないことを意味します。したがって、このメソッドは実際にシャッフルされたコピーを作成します。

また、Machine_learningに使用して、常に同じデータを分離したい場合にも便利です。

df.sample(n=len(df), random_state=42)

これにより、ランダムな選択を常に複製可能に保つことができます

AFAIKの最も簡単なソリューションは次のとおりです。

df_shuffled = df.reindex(np.random.permutation(df.index))

この場合に、サンプルアレイ取ることによってパンダデータフレームをシャッフルインデックスをし、データフレームのインデックスとして配列を設定し、その順序をランダム化します。次に、インデックスに従ってデータフレームを並べ替えます。シャッフルされたデータフレームです

import random
df = pd.DataFrame({"a":[1,2,3,4],"b":[5,6,7,8]})
index = [i for i in range(df.shape[0])]
random.shuffle(index)
df.set_index([index]).sort_index()

出力

    a   b
0   2   6
1   1   5
2   3   7
3   4   8

上記のコードの私の場所にデータフレームを挿入します。

ここに別の方法があります：

df['rnd'] = np.random.rand(len(df)) df = df.sort_values(by='rnd', inplace=True).drop('rnd', axis=1)