ValueError：入力にNaN、無限大、またはdtype（ 'float32'）には大きすぎる値が含まれています

RandomForestモデルを使用してテストデータを予測すると、ValueErrorが発生しました。

私のコード：

clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2)
clf.fit(X_fit, y_fit)

df_test.fillna(df_test.mean())
X_test = df_test.values  
y_pred = clf.predict(X_test)

エラー：

ValueError: Input contains NaN, infinity or a value too large for dtype('float32').

テストデータセットで不適切な値を見つけるにはどうすればよいですか？また、これらのレコードを削除したくないのですが、平均値または中央値に置き換えることはできますか？

ありがとう。

ではnp.isnan(X)、あなたは含む位置に対して真とブールマスク取り戻すNaN秒。

を使用しnp.where(np.isnan(X))て、i、j座標のNaNsを持つタプルを取得します。

最後に、np.nan_to_num(X)「nanをゼロに、infを有限数に置き換えて」ください。

または、次を使用できます。

• 欠損値の平均/中央値代入のsklearn.impute.SimpleImputer、または
• pandas ' pd.DataFrame(X).fillna()、ゼロで埋める以外の何かが必要な場合。

X_testパンダのデータフレームであると仮定するとDataFrame.fillna、NaN値を平均に置き換えることができます。

X_test.fillna(X_test.mean())

これに遭遇した人のために、実際にオリジナルを変更するには：

X_test.fillna(X_train.mean(), inplace=True)

オリジナルを上書きするには：

X_test = X_test.fillna(X_train.mean())

コピー中かビュー中かを確認するには：

X_test._is_view

忘れないで

col_mask=df.isnull().any(axis=0) 

np.nan値を示すブールマスクを返します。

row_mask=df.isnull().any(axis=1)

np.nanが現れた行を返します。次に、単純なインデックス付けにより、np.nanであるすべてのポイントにフラグを立てることができます。

df.loc[row_mask,col_mask]

私は同様の問題に直面し、numpyがNaNとInfを異なる方法で処理するのを見ました。
データにInfがある場合は、これを試してください：

np.where(x.values >= np.finfo(np.float64).max)
Where x is my pandas Dataframe 

これにより、NA値が存在する場所の場所のタプルが提供されます。

データにNanが含まれている場合は、これを試してください：

np.isnan(x.values.any())

inf値も確認することを忘れないでください。私のために働いた唯一のもの：

df[df==np.inf]=np.nan
df.fillna(df.mean(), inplace=True)

sklearnを使用している場合はさらに良い

def replace_missing_value(df, number_features):

    imputer = Imputer(strategy="median")
    df_num = df[number_features]
    imputer.fit(df_num)
    X = imputer.transform(df_num)
    res_def = pd.DataFrame(X, columns=df_num.columns)
    return res_def

number_featuresがnumber_featuresラベルの配列の場合、例えば：

number_features = ['median_income', 'gdp']

「NaNをゼロに、無限を大きな有限数に置き換える」方法のコードを次に示します。使用してnumpy.nan_to_numを。

df[:] = np.nan_to_num(df)

フェルナンドの答えもご覧ください。