キャレットパッケージを使用すると、特定のしきい値の混同マトリックスを取得できますか？

trainバイナリ応答のロジスティック回帰モデル（を介して）を取得し、confusionMatrixin を介してロジスティック混同行列を取得しましたcaret。ロジスティックモデルの混同マトリックスが得られますが、それを取得するためにどのしきい値が使用されているのかはわかりません。confusionMatrixin を使用して特定のしきい値の混同マトリックスを取得するにはどうすればよいcaretですか？

Rのほとんどの分類モデルは、クラス予測と各クラスの確率の両方を生成します。バイナリデータの場合、ほとんどすべての場合、クラス予測は50％の確率カットオフに基づいています。

glm同じです。でcaret、を使用predict(object, newdata)すると予測クラスpredict(object, new data, type = "prob")が得られ、クラス固有の確率が得られます（objectが生成される場合train）。

独自のモデルを定義し、必要なカットオフを適用することにより、さまざまなことを行うことができます。caret ウェブサイトはまた、持っている例確率カットオフを最適化するために、リサンプリング使用します。

tl; dr

confusionMatrix 予測されたクラスを使用するため、50％の確率のカットオフ

マックス

以下を前提とする非常に簡単な方法がありますtune <- train(...)：

probsTest <- predict(tune, test, type = "prob")
threshold <- 0.5
pred      <- factor( ifelse(probsTest[, "yes"] > threshold, "yes", "no") )
pred      <- relevel(pred, "yes")   # you may or may not need this; I did
confusionMatrix(pred, test$response)

明らかに、「最高」の値を試すか選択するために、しきい値を設定することができます。ここで、最高とは、特異性と感度の最高の組み合わせを意味します。

library(pROC)
probsTrain <- predict(tune, train, type = "prob")
rocCurve   <- roc(response = train$response,
                      predictor = probsTrain[, "yes"],
                      levels = rev(levels(train$response)))
plot(rocCurve, print.thres = "best")

Maxが投稿した例を見てから、私のアプローチがあまり望ましくない統計的なニュアンスがあるかどうかはわかりません。