Python pandas文字列の列のデータ選択からナンをフィルタリングする

使用groupbyせずにデータを除外するにはどうすればよいNaNですか？

顧客が「N / A」、「n / a」またはそのバリエーションのいずれかを入力し、他のユーザーはそれを空白のままにするマトリックスがあるとします。

import pandas as pd
import numpy as np


df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
                  'rating': [3., 4., 5., np.nan, np.nan, np.nan],
                  'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})

nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]

出力：

>>> nms
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

NaN値をフィルターで除外して、次のように動作する結果を取得するにはどうすればよいですか。

  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

私は何か~np.isnanが必要だと思いますが、ティルダは文字列では機能しません。

それらをドロップするだけです：

nms.dropna(thresh=2)

これにより、非が少なくとも2つあるすべての行が削除されますNaN。

次に、名前がNaN次の場所にドロップできます。

In [87]:

nms
Out[87]:
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

[5 rows x 3 columns]
In [89]:

nms = nms.dropna(thresh=2)
In [90]:

nms[nms.name.notnull()]
Out[90]:
  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

[2 rows x 3 columns]

編集

実際にあなたが最初に望んでいることを見て、あなたはdropna電話なしでこれを行うことができます：

nms[nms.name.notnull()]

更新

3年後のこの質問を見ると、間違いがあり、最初にthreshargは少なくともn非NaN値を探すので、実際には出力は次のようになります。

In [4]:
nms.dropna(thresh=2)

Out[4]:
  movie    name  rating
0   thg    John     3.0
1   thg     NaN     4.0
3   mol  Graham     NaN

私が3年前に誤解したか、実行しているパンダのバージョンにバグがあった可能性があります。どちらのシナリオも完全に可能です。

すべてのソリューションの中で最も単純：

filtered_df = df[df['name'].notnull()]

したがって、「name」列にNaN値を持たない行のみを除外します。

複数の列の場合：

filtered_df = df[df[['name', 'country', 'region']].notnull().all(1)]

df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],'rating': [3., 4., 5., np.nan, np.nan, np.nan],'name': ['John','James', np.nan, np.nan, np.nan,np.nan]})

for col in df.columns:
    df = df[~pd.isnull(df[col])]

df.dropna(subset=['columnName1', 'columnName2'])