2つのモデル(h2o AutoMLを使用するバイナリ分類器)をトレーニングしたので、使用するモデルを1つ選択します。次の結果が得られました。
model_id auc logloss logloss_train logloss_valid gini_train gini_valid
DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975
DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662
auc
そしてlogloss
列が交差検定メトリクス(クロスバリデーションのみトレーニングデータを使用する)です。..._train
そして..._valid
メトリックは、それぞれのモデルを通じてトレーニングと検証のメトリックを実行することによって発見されました。logloss_valid
またはを使用しgini_valid
て、最適なモデルを選択します。
モデル1は優れたジニ(つまりAUC)を持っていますが、モデル2は優れた対数損失を持っています。私の質問は、どちらを選択するべきかという質問です。決定基準としてgini(AUC)またはloglossを使用することの利点/欠点は何ですか。