特定の列の値がNaNであるPandas DataFrameの行を削除する方法

私はこれを持ってDataFrameおり、EPS列が次のレコードでないレコードのみが必要ですNaN。

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

...つまりdf.drop(....)、この結果のデータフレームを取得するようなもの：

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

それ、どうやったら出来るの？

ドロップしないでください。EPSがNAではない行を取得してください。

df = df[df['EPS'].notna()]

この質問はすでに解決されていますが...

...また、ウーターが最初のコメントで提案した解決策を検討してください。を含む欠落データを処理する機能dropna()は、パンダに明示的に組み込まれています。手動で実行するよりもパフォーマンスが向上する可能性があることに加えて、これらの関数には、便利なさまざまなオプションが付属しています。

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

行の代わりに列を削除するなど、他のオプションもあります（http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.htmlのドキュメントを参照）。

かなり便利！

私はこれがすでに答えられていることを知っていますが、アマンからの一般的な説明（素晴らしい）とは対照的に、この特定の質問に対する純粋なパンダの解決のために、そして誰かがこれに遭遇した場合に備えて：

import pandas as pd
df = df[pd.notnull(df['EPS'])]

あなたはこれを使うことができます：

df.dropna(subset=['EPS'], how='all', inplace=True)

すべてのソリューションの中で最も単純：

filtered_df = df[df['EPS'].notnull()]

上記の解決策はnp.isfinite（）を使用するよりも優れています

データフレームメソッドnotnullまたはisnullの逆、またはnumpy.isnanを使用できます。

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

シンプルで簡単な方法

df.dropna(subset=['EPS'],inplace=True)

ソース：https : //pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html

次の事実を使用するさらに別のソリューションnp.nan != np.nan：

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

別のバージョン：

df[~df['EPS'].isna()]

列の数が多いデータセットでは、null値が含まれている列と含まれていない列の数を確認することをお勧めします。

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

たとえば、私のデータフレームには82列が含まれており、そのうちの19列には少なくとも1つのnull値が含まれていました。

さらに、null値の多いものに応じて、列と行を自動的に削除することもでき
ます。これは、これをインテリジェントに行うコードです。

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

注：上記のコードは、すべてのnull値を削除します。null値が必要な場合は、前にそれらを処理します。

'＆'を使用して追加の条件を追加できるときに追加できます。

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

ステートメントを評価するとき、パンダには括弧が必要です。

何らかの理由で、以前に提出された回答がどれも私にとってうまくいきませんでした。この基本的な解決策は：

df = df[df.EPS >= 0]

もちろん、負の数の行も削除されます。そのため、これらを追加したい場合は、おそらくこれを後で追加するのも賢明です。

df = df[df.EPS <= 0]

解決策の1つは

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

別の方法は

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

これらがお役に立てば幸いです。