Python / numpy / pandasで任意のオブジェクトがNaNであるかどうかを効率的にチェックしていますか？

私の派手な配列はnp.nan欠損値を指定するために使用します。データセットを反復処理するとき、そのような欠損値を検出して特別な方法で処理する必要があります。

単純に私はを使用しましたがnumpy.isnan(val)、がvalサポートするタイプのサブセットに含まれない限り、うまく機能しnumpy.isnan()ます。たとえば、不足しているデータが文字列フィールドで発生する可能性があります。その場合、次のようになります。

>>> np.isnan('some_string')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: Not implemented for this type

例外をキャッチして返す高価なラッパーを作成する以外Falseに、これをエレガントかつ効率的に処理する方法はありますか？

pandas.isnull()（またpd.isna()、新しいバージョンでは）数値配列と文字列/オブジェクト配列の両方で欠損値をチェックします。ドキュメントから、以下をチェックします。

数値配列のNaN、オブジェクト配列のNone / NaN

簡単な例：

import pandas as pd
import numpy as np
s = pd.Series(['apple', np.nan, 'banana'])
pd.isnull(s)
Out[9]: 
0    False
1     True
2    False
dtype: bool

を使用numpy.nanして欠損値を表すという考え方がpandas導入さpandasれたため、それを処理するためのツールが用意されています。

日時（使用するpd.NaT場合、dtypeを指定する必要はありません）

In [24]: s = Series([Timestamp('20130101'),np.nan,Timestamp('20130102 9:30')],dtype='M8[ns]')

In [25]: s
Out[25]: 
0   2013-01-01 00:00:00
1                   NaT
2   2013-01-02 09:30:00
dtype: datetime64[ns]``

In [26]: pd.isnull(s)
Out[26]: 
0    False
1     True
2    False
dtype: bool

あなたのタイプは本当に任意ですか？あなたがそれがちょうどint浮動小数点または文字列になるつもりであることがわかっているなら、あなたはただ行うことができます

 if val.dtype == float and np.isnan(val):

numpyでラップされていると仮定すると、常にdtypeがあり、浮動小数点数と複素数のみがNaNになります