numpyndarray行列の非NaN要素の数を計算する必要があります。Pythonでこれを効率的に行うにはどうすればよいですか？これを実現するための簡単なコードは次のとおりです。

import numpy as np

def numberOfNonNans(data):
    count = 0
    for i in data:
        if not np.isnan(i):
            count += 1
    return count 

numpyにこれのための組み込み関数はありますか？私はビッグデータ分析を行っているので、効率は重要です。

助けを求めてThnx！

np.count_nonzero(~np.isnan(data))

~から返されたブール行列を反転しnp.isnanます。

np.count_nonzero0 \ falseではない値をカウントします。.sum同じ結果が得られるはずです。しかし、おそらくもっと明確に使用するcount_nonzero

テスト速度：

In [23]: data = np.random.random((10000,10000))

In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan

In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop

In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop

In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop

data.size - np.count_nonzero(np.isnan(data))ここではかろうじて最速のようです。他のデータは異なる相対速度の結果を与えるかもしれません。

すぐに書ける代替案

最速の選択ではありませんが、パフォーマンスが問題にならない場合は、次のものを使用できます。

sum(~np.isnan(data))。

パフォーマンス：

In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop

In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop

In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop

別の方法ですが、少し遅い方法は、インデックス作成よりも実行することです。

np.isnan(data)[np.isnan(data) == False].size

In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size
1 loops, best of 3: 498 ms per loop 

np.isnan(data)と==演算子を2回使用するのは少しやり過ぎかもしれないので、完全を期すためだけに回答を投稿しました。

配列がスパースであるかどうかを判断するには、nan値の比率を取得すると役立つ場合があります

np.isnan(ndarr).sum() / ndarr.size

その比率がしきい値を超える場合は、スパース配列を使用します。例：-https：//sparse.pydata.org/en/latest/