パンダの一意の値の複数の列


134
df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

「Col1」と「Col2」の一意の値を返す最良の方法は何ですか?

望ましい出力は

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

3
pandasデータフレームの選択した列の値の一意の組み合わせも参照して、異なるが関連する質問を数えます。そこで選択された答えはdf1.groupby(['A','B']).size().reset_index().rename(columns={0:'count'})
次のとおりです

回答:


198

pd.unique 入力配列、またはDataFrame列またはインデックスから一意の値を返します。

この関数への入力は1次元である必要があるため、複数の列を組み合わせる必要があります。最も簡単な方法は、必要な列を選択してから、値をフラット化されたNumPy配列で表示することです。操作全体は次のようになります。

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

ravel()多次元配列のビュー(可能な場合)を返す配列メソッドであることに注意してください。引数'K'は、要素がメモリに格納されている順序で配列をフラット化するようにメソッドに指示します(パンダは通常、基になる配列をFortranの連続した順序で格納します。列は行の前に格納されます)。これは、メソッドのデフォルトの「C」順序を使用するよりもはるかに高速です。


別の方法は、列を選択してそれらに渡すことnp.uniqueです:

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

ravel()メソッドが多次元配列を処理するため、ここで使用する必要はありません。それでも、pd.unique一意の値を識別するためにハッシュテーブルではなくソートベースのアルゴリズムを使用する場合よりも遅くなる可能性があります。

速度の違いは、より大きいDataFrameの場合に重要です(特に、一意の値がほんの少ししかない場合)。

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

2
配列の代わりにデータフレームを取得するにはどうすればよいですか?
Lisle

1
@Lisle:どちらのメソッドもNumPy配列を返すため、手動で作成する必要があります(例:)pd.DataFrame(unique_values)。DataFrameを直接取得する良い方法はありません。
Alex Riley

@Lisleはpd.uniqueを使用しているため、最終出力としてnumpy.ndarrayを返します。これはあなたが求めていたものですか?
Ash Upadhyay

1
@ライル、おそらくこれはdf = df.drop_duplicates(subset = ['C1'、 'C​​2'、 'C​​3'])?
くすぐったいも

14

DataFrame列にいくつかの単純な文字列を設定しました:

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

関心のある列を連結して、unique関数を呼び出すことができます。

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)



1

pandas解決策:set()を使用します。

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

出力:

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

1

パンダをすべて愛し、適用し、そしてもちろんラムダ関数を愛する私たちのために:

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)

1

ここに別の方法があります


import numpy as np
set(np.concatenate(df.values))

0
list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

出力は['Mary'、 'Joe'、 'Steve'、 'Bob'、 'Bill']になります

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.