一部の入力に欠損値がある場合のrandomForest(R)による予測(NA)


9

randomForest新しいケースのクラスを予測するアプリケーションで使用したい細かい分類モデルがあります。新しいケースには必然的に欠損値があります。NAの場合、Predictはそのようには機能しません。それでは、どうすればよいですか。

data(iris)
# create first the new case with missing values
na.row<-45
na.col<-c(3,5)
case.na<-iris[na.row,]
case.na[,na.col]<-NA

iris.rf <- randomForest(Species ~ ., data=iris[-na.row,])
# print(iris.rf)

myrf.pred <- predict(iris.rf, case.na[-5], type="response")
myrf.pred
[1] <NA>

試しましたmissForest。元のデータと新しいケースを組み合わせ、それをmissForestでシェイクし、新しいケースでNAの帰属値を得ました。しかし、あまりにも重いコンピューティング。

data.imp <- missForest(data.with.na)

しかし、rf-modelを使用して、欠損値のある新しいケースを予測する方法があるはずですよね?


4
欠損値をディシジョンツリーで処理する方法はたくさんありますが、randomForestR のパッケージには、説明した代入法しかありません。同様の環境にとどまりたい場合gbmは、新しいデータの欠損値を処理するためのややスムーズな方法があります(完璧ではありませんが、便利です)。
シアパークス

パーティーパッケージは欠損値をより適切に処理すると思います
Simone

@Simone様、partyパッケージはテストセットのNAでどのように機能しますか?partyマニュアルや例に代入の痕跡を見つけることができませんでした。
hermo 2013

@hermoは、パーティーの紙citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.92.9930を見てみようとしています。アルゴリズムはCARTのように機能しているようです。代理分割を探します。
Simone

「na.action = na.roughfix」を使用してみてください。

回答:


1

値を代入するか、モデルを変更するしかありません。HmiscパッケージのaregImputeが適切な選択です。私はそれをあなたを拘束しているものであるrfimputeよりも重くないと思います、最初のパッケージの例(他のものがあります):

# Check that aregImpute can almost exactly estimate missing values when
# there is a perfect nonlinear relationship between two variables
# Fit restricted cubic splines with 4 knots for x1 and x2, linear for x3
set.seed(3)
x1 <- rnorm(200)
x2 <- x1^2
x3 <- runif(200)
m <- 30
x2[1:m] <- NA
a <- aregImpute(~x1+x2+I(x3), n.impute=5, nk=4, match='closest')
a
matplot(x1[1:m]^2, a$imputed$x2)
abline(a=0, b=1, lty=2)

x1[1:m]^2
a$imputed$x2

# Multiple imputation and estimation of variances and covariances of
# regression coefficient estimates accounting for imputation
# Example 1: large sample size, much missing data, no overlap in
# NAs across variables
x1 <- factor(sample(c('a','b','c'),1000,TRUE))
x2 <- (x1=='b') + 3*(x1=='c') + rnorm(1000,0,2)
x3 <- rnorm(1000)
y  <- x2 + 1*(x1=='c') + .2*x3 + rnorm(1000,0,2)
orig.x1 <- x1[1:250]
orig.x2 <- x2[251:350]
x1[1:250] <- NA
x2[251:350] <- NA
d <- data.frame(x1,x2,x3,y)
# Find value of nk that yields best validating imputation models
# tlinear=FALSE means to not force the target variable to be linear
f <- aregImpute(~y + x1 + x2 + x3, nk=c(0,3:5), tlinear=FALSE,
                data=d, B=10) # normally B=75
f
# Try forcing target variable (x1, then x2) to be linear while allowing
# predictors to be nonlinear (could also say tlinear=TRUE)
f <- aregImpute(~y + x1 + x2 + x3, nk=c(0,3:5), data=d, B=10)
f

# Use 100 imputations to better check against individual true values
f <- aregImpute(~y + x1 + x2 + x3, n.impute=100, data=d)
f
par(mfrow=c(2,1))
plot(f)
modecat <- function(u) {
 tab <- table(u)
 as.numeric(names(tab)[tab==max(tab)][1])
}
table(orig.x1,apply(f$imputed$x1, 1, modecat))
par(mfrow=c(1,1))
plot(orig.x2, apply(f$imputed$x2, 1, mean))
fmi <- fit.mult.impute(y ~ x1 + x2 + x3, lm, f, 
                       data=d)
sqrt(diag(vcov(fmi)))
fcc <- lm(y ~ x1 + x2 + x3)
summary(fcc)   # SEs are larger than from mult. imputation

あなたは、独立変数の欠損値を持つ多くの新しい観測があると述べました。このような多くのケースがありますが、新しい観測ごとに1つまたは2つの変数の欠落のみがあり、変数の量が少なくない場合は、穴を中央値または平均で埋めるだけです(それらは連続ですか?)働くことができました。

興味深いかもしれないもう1つのことは、マイナーな変数重要度分析を行うことです。ランダムフォレストRの実装では、2つの重要度とそれぞれのプロットを計算します。

varImpPlot(yourRandomForestModel) # yourRandomForestModel must have the argument importance=TRUE 

また、モデルのトレーニングに「重要な」変数を含めるだけで、「完全なモデル」と比較して予測の精度に影響が出るまで、いじることができます。欠落の少ない変数を保持している可能性があります。問題のサイズを減らすのに役立ちます。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.