パンダでDataFrameのデータレイアウトを効率的に変更するにはどうすればよいですか？

8

2つの列に値が配置されたDataFrameがあります。表T1を参照してください。表T2に示すようにデータレイアウトを作成する方法で値を再配置したい。T2の行は、値の「スライディングウィンドウ」を転置し、テーブルT1の列aを下に移動することによって作成されます。パンダでこれを効率的に行うための賢い方法はありますか？

T1              T2

 a | b           A |  B |  C | D
------          ---------------
41 | 5          41 | 42 | 43 | 7
42 | 6          42 | 43 | 44 | 8
43 | 7    -->   43 | 44 | 45 | 9
44 | 8          44 | 45 | .. | .
45 | 9          45 | .. | .. | .
.. | .          .. | .. | .. | .
.. | .          .. | .. | .. | .

python pandas

— ジョアンナ・コワール
ソース

5

あなたは使うことができますas_strided：

from numpy.lib.stride_tricks import as_strided

window = 3
stride = df['a'].values.strides[0]

pd.DataFrame(as_strided(df['a'].values, 
                        shape=(len(df) - window + 1, window),
                        strides = (stride,stride))
            )

出力：

     0   1   2
0   41  42  43
1   42  43  44
2   43  44  45

— クアンホアン
ソース

4

これでうまくいくはずです：

df = df.rename(columns={"b": "D", "a": "A"})

df["B"] = df["A"].shift(-1)
df["C"] = df["A"].shift(-2)
df["D"] = df["D"].shift(-2)
df = df.sort_index(axis=1)

出力：

    A     B     C    D
0  41  42.0  43.0  7.0
1  42  43.0  44.0  8.0
2  43  44.0  45.0  9.0
3  44  45.0   NaN  NaN
4  45   NaN   NaN  NaN

— グジェゴシュ・スキビンスキー
ソース

3

あなたは使用することができますas_strided：

stride = np.lib.stride_tricks.as_strided
window=3
v = stride(df.a, (len(df) - (window - 1), window), (df.a.values.strides * 2))
df=df.assign(**pd.DataFrame(v.tolist(),columns=list('ABC')).reindex(df.index))
df=df.assign(D=df.iloc[:,-1].map(df.set_index('a')['b']))
print(df)

    a  b     A     B     C    D
0  41  5  41.0  42.0  43.0  7.0
1  42  6  42.0  43.0  44.0  8.0
2  43  7  43.0  44.0  45.0  9.0
3  44  8   NaN   NaN   NaN  NaN
4  45  9   NaN   NaN   NaN  NaN

— 不安な
ソース

2

numpyインデックスを使用できます：

window = 3
indexer = np.arange(window)[None, :] + np.arange(len(df) - window + 1)[:, None]
a_values = df.a.values[indexer]  # apply fancy indexing on a

b_values = df.b.values[window - 1:].reshape(-1, 1)

result = pd.DataFrame(data=np.hstack([a_values, b_values]), columns=['A', 'B', 'C', 'D'])

print(result)

出力

    A   B   C  D
0  41  42  43  7
1  42  43  44  8
2  43  44  45  9

— ダニ・メセホ
ソース