標本外データのモデルの精度は100％オーバーフィットですか？

私はcognitiveclass.aiのRコースの機械学習を完了し、ランダムフォレストの実験を開始しました。

Rの「randomForest」ライブラリを使用してモデルを作成しました。モデルは、goodとbadの2つのクラスに分類されます。

モデルがオーバーフィットである場合、モデル自体のトレーニングセットからのデータに対してはうまく機能しますが、サンプル外のデータに対してはうまく機能しないことを知っています。

モデルをトレーニングしてテストするために、データセット全体をシャッフルして、トレーニング用に70％とテスト用に30％に分割しました。

私の質問：テストセットで行われた予測から100％の精度を得ています。これは悪いですか？それは本当であるには余りにも良いようです。

目的は、4つの波形を相互に依存する波形認識です。データセットの機能は、ターゲット波形を含む波形のダイナミックタイムワーピング分析のコスト結果です。

精度などの検証スコアが高いということは、一般的に過剰適合ではないことを意味しますが、注意が必要であり、問​​題が発生した可能性があります。また、問題がそれほど難しくなく、モデルが本当にうまく機能していることも意味します。うまくいかない可能性がある2つのこと：

• データを適切に分割しておらず、検証データもトレーニングデータに含まれています。つまり、汎化を測定していないため、過剰適合を示しています。
• 一部の機能エンジニアリングを使用して追加の機能を作成し、行がトレーニングセット内の他のターゲットだけでなく、現在のターゲットからの情報を使用しているターゲットリークを導入した可能性があります

調査して、最も予測可能な機能を確認します。時々、誤ってターゲット（またはターゲットと同等のもの）を機能に含めました。