パンダの空白値（空白）をNaNで置き換える

空白（任意の量）を含むPandasデータフレーム内のすべての値を検索し、それらの値をNaNで置き換えたい。

これを改善する方法はありますか？

基本的に私はこれを変えたいです：

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux     

これに：

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

以下のコードでなんとかできましたが、醜いです。Pythonicではなく、パンダの最も効率的な使用法でもないと私は確信しています。各列をループし、空白に一致する各値の正規表現検索を実行する関数を適用して生成された列マスクに対してブール値の置換を行います。

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

空の文字列を含む可能性のあるフィールドを反復するだけで、少し最適化できます。

if df[i].dtype == np.dtype('object')

しかし、それはあまり改善されていません

そして最後に、このコードはターゲット文字列をNoneに設定します。これはのようなPandasの関数で機能しますがfillna()、実際にのNaN代わりに直接を挿入できれば完全性のために良いでしょうNone。

パンダ0.13df.replace()以来、私は仕事をすると思います：

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))

生成する：

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

Temakはそれを指摘し、使用df.replace(r'^\s+$', np.nan, regex=True)する場合には、あなたの有効なデータは空白が含まれています。

空の文字列とレコードをスペースのみで置き換える場合、正解は！：

df = df.replace(r'^\s*$', np.nan, regex=True)

受け入れられた答え

df.replace(r'\s+', np.nan, regex=True)

空の文字列を置き換えません！、わずかに更新された所定の例を試すことができます：

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'fo o', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', ''],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

また、 'fo o'にはスペースが含まれていますが、Nanに置き換えられていません。さらに、簡単なことに注意してください。

df.replace(r'', np.NaN)

どちらも機能しません-試してみてください。

どうですか：

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

applymap関数は、データフレームのすべてのセルに関数を適用します。

私はこれを行います：

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

または

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

すべてのstrを削除してから、空のstrをに置き換えることができますnp.nan。

すべてのソリューションの中で最も単純：

df = df.replace(r'^\s+$', np.nan, regex=True)

CSVファイルからデータをエクスポートする場合は、次のように簡単です。

df = pd.read_csv(file_csv, na_values=' ')

これにより、データフレームが作成され、空白値がNaに置き換えられます。

単一の値と等しいかどうかを確認する非常に高速でシンプルなソリューションの場合、このmaskメソッドを使用できます。

df.mask(df == ' ')

これらはすべて正しい答えに近いものですが、コードを読んでいる他の人が最も読みやすいまま、問題を解決することはできません。その答えは、BrenBarnの回答とその回答の下のtuomasttikのコメントの組み合わせだと思います。ブレンバーンの答えはisspace組み込みをしていますが、OPが要求したように空の文字列を削除することはサポートしていません。

で書き直した.applyので、pd.Seriesまたはで呼び出すことができますpd.DataFrame。

Python 3：

空の文字列または完全にスペースの文字列を置き換えるには：

df = df.apply(lambda x: np.nan if isinstance(x, str) and (x.isspace() or not x) else x)

完全にスペースの文字列を置き換えるには：

df = df.apply(lambda x: np.nan if isinstance(x, str) and x.isspace() else x)

Pythonの2にこれを使用するには、交換する必要がありますstrしbasestring。

Python 2：

空の文字列または完全にスペースの文字列を置き換えるには：

df = df.apply(lambda x: np.nan if isinstance(x, basestring) and (x.isspace() or not x) else x)

完全にスペースの文字列を置き換えるには：

df = df.apply(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

これでうまくいきました。csvファイルをインポートするときに、na_values = ''を追加しました。スペースは、デフォルトのNaN値には含まれません。

df = pd.read_csv（filepath、na_values = ''）

フィルターを使用して行うこともできます。

df = PD.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '])
    df[df=='']='nan'
    df=df.astype(float)

print(df.isnull().sum()) # check numbers of null value in each column

modifiedDf=df.fillna("NaN") # Replace empty/null values with "NaN"

# modifiedDf = fd.dropna() # Remove rows with empty values

print(modifiedDf.isnull().sum()) # check numbers of null value in each column

これはエレガントなソリューションではありませんが、動作すると思われるのはXLSXに保存してからインポートし直すことです。このページの他の解決策は私にはうまくいきませんでした。理由は不明です。

data.to_excel(filepath, index=False)
data = pd.read_excel(filepath)