ランダムフォレストを使用して予測モデルを開発した後、次のメトリックを取得します。

        Train Accuracy ::  0.9764634601043997
        Test Accuracy  ::  0.7933284397683713
         Confusion matrix  [[28292  1474]
                            [ 6128   889]]

これは、このコードの結果です。

  training_features, test_features, training_target, test_target, = train_test_split(df.drop(['bad_loans'], axis=1),
                                                  df['target'],
                                                  test_size = .3,
                                                  random_state=12)
clf = RandomForestClassifier()
trained_model = clf.fit(training_features, training_target)
trained_model.fit(training_features, training_target)
predictions = trained_model.predict(test_features)      

Train Accuracy: accuracy_score(training_target, trained_model.predict(training_features))
Test Accuracy: accuracy_score(test_target, predictions)
Confusion Matrix: confusion_matrix(test_target, predictions)

ただし、この値を解釈して説明するのに少し混乱しています。

この3つの指標は、モデルについて正確に何を教えてくれますか？

ありがとう！

定義

• 精度：正しい分類の量/分類の合計量。
• トレイン精度：構築された例のモデルの精度。
• テストの精度は、見たことのない例のモデルの精度です。
• 混同行列：実際のクラス（水平方向）に対する予測クラス（通常は垂直方向）の表。

過剰適合

私があなたの結果を補うのは、あなたのモデルが過剰適合しているということです。テストとトレーニングの精度の精度の大きな違いからそれを知ることができます。過剰適合とは、特定の列車セットのルールを学習したことを意味し、これらのルールは列車セットを超えて一般化されていません。

最大のクラスが人口の90％以上を占めているため、混同行列は、それがどれだけ過剰適合であるかを示しています。セットのテストとトレーニングを同様の分布で行うと仮定すると、有用なモデルは、90％を超える精度でスコア付けする必要があります。単純な0Rモデルの場合はそうです。テストセットのモデルのスコアは80％未満です。

詳細に混同行列を見てください

混同行列を（パーセンテージで）相対的に見ると、次のようになります。

               Actual    TOT
               1    2
Predicted 1 | 77% | 4% | 81%  
Predicted 2 | 17% | 2% | 19%
TOT         | 94% | 6% |

最初の行の合計から、モデルがクラス1を予測する時間は81％であるのに対し、クラス1の実際の発生は94％であると推測できます。したがって、モデルはこのクラスを過小評価しています。それは、テストセットであなたに反する、列車セットの特定の（複雑な）ルールを学習した場合かもしれません。

クラス1の偽陰性（17％ポイント、行2、列1））が全体的なパフォーマンスを最も損なっている場合でも、クラス2の偽陰性（4％ポイント、行1列）は注目に値します。 2）実際には、それぞれのクラスの総人口に関してより一般的です（94％、6％）。これは、モデルがクラス1の予測には不向きであることを意味しますが、クラス2の予測にはさらに劣ります。ちょうど精度クラス1は、精度ながら99分の77であり、クラス2は 2/6です。