2クラスモデルのマルチクラス問題への拡張

Adaboostに関するこのペーパーでは、2クラスモデルをKクラスの問題に拡張するための提案とコード（17ページ）を示します。このコードを一般化して、さまざまな2クラスモデルを簡単にプラグインして結果を比較できるようにします。ほとんどの分類モデルには数式インターフェースとpredictメソッドがあるため、これの一部は比較的簡単なはずです。残念ながら、2クラスモデルからクラス確率を抽出する標準的な方法が見つからないため、各モデルにはカスタムコードが必要になります。

Kクラス問題を2クラス問題に分解し、Kモデルを返すために私が書いた関数は次のとおりです。

oneVsAll <- function(X,Y,FUN,...) {
    models <- lapply(unique(Y), function(x) {
        name <- as.character(x)
        .Target <- factor(ifelse(Y==name,name,'other'), levels=c(name, 'other'))
        dat <- data.frame(.Target, X)
        model <- FUN(.Target~., data=dat, ...)
        return(model)
    })
    names(models) <- unique(Y)
    info <- list(X=X, Y=Y, classes=unique(Y))
    out <- list(models=models, info=info)
    class(out) <- 'oneVsAll'
    return(out)
}

これは、各モデルを反復処理して予測を行うために私が書いた予測方法です。

predict.oneVsAll <- function(object, newX=object$info$X, ...) {
    stopifnot(class(object)=='oneVsAll')
    lapply(object$models, function(x) {
        predict(x, newX, ...)
    })
}

そして最後に、data.frame予測された確率の正規化を行い、ケースを分類する関数があります。data.frame2クラスモデルからクラス確率を抽出する統一された方法がないため、各モデルから確率のK列を作成するのはあなた次第であることに注意してください。

classify <- function(dat) {
    out <- dat/rowSums(dat)
    out$Class <- apply(dat, 1, function(x) names(dat)[which.max(x)])
    out
}

使用例はadaboost次のとおりです。

library(ada)
library(caret) 
X <- iris[,-5]
Y <- iris[,5]
myModels <- oneVsAll(X, Y, ada)
preds <- predict(myModels, X, type='probs')
preds <- data.frame(lapply(preds, function(x) x[,2])) #Make a data.frame of probs
preds <- classify(preds)
>confusionMatrix(preds$Class, Y)
Confusion Matrix and Statistics

            Reference
Prediction   setosa versicolor virginica
  setosa         50          0         0
  versicolor      0         47         2
  virginica       0          3        48

以下は使用例ですlda（ldaが複数のクラスを処理できることはわかっていますが、これは単なる例です）。

library(MASS)
myModels <- oneVsAll(X, Y, lda)
preds <- predict(myModels, X)
preds <- data.frame(lapply(preds, function(x) x[[2]][,1])) #Make a data.frame of probs
preds <- classify(preds)
>confusionMatrix(preds$Class, Y)
Confusion Matrix and Statistics

            Reference
Prediction   setosa versicolor virginica
  setosa         50          0         0
  versicolor      0         39         5
  virginica       0         11        45

これらの関数は、数式インターフェイスとpredictメソッドを持つ2クラスモデルで機能します。XとYのコンポーネントを手動で分割する必要があることに注意してください。これは少し見苦しいですが、式のインターフェースを書くのは今のところ私にはできません。

このアプローチは誰にとっても意味がありますか？それを改善する方法はありますか、またはこの問題を解決するための既存のパッケージはありますか？

改善する1つの方法は、「すべてに対して1つ」よりも優れていると思われる「すべてのペアの重み付け」アプローチを使用することです。

既存のパッケージとglmnet同様に、マルチクラス分類器として使用できる（正規化された）多項ロジットをサポートします。