回答:
これまでに提供された2つのアプローチは、(他のメモリの問題の中で)が作成する大きなデータセットで失敗しますis.na(df)
。これは、と同じサイズのオブジェクトになりますdf
。
より多くのメモリと時間効率の良い2つのアプローチを次に示します
を使用したアプローチ Filter
Filter(function(x)!all(is.na(x)), df)
およびdata.tableを使用したアプローチ(一般的な時間とメモリの効率のため)
library(data.table)
DT <- as.data.table(df)
DT[,which(unlist(lapply(DT, function(x)!all(is.na(x))))),with=F]
big_data <- replicate(10, data.frame(rep(NA, 1e6), sample(c(1:8,NA),1e6,T), sample(250,1e6,T)),simplify=F)
bd <- do.call(data.frame,big_data)
names(bd) <- paste0('X',seq_len(30))
DT <- as.data.table(bd)
system.time({df1 <- bd[,colSums(is.na(bd) < nrow(bd))]})
# error -- can't allocate vector of size ...
system.time({df2 <- bd[, !apply(is.na(bd), 2, all)]})
# error -- can't allocate vector of size ...
system.time({df3 <- Filter(function(x)!all(is.na(x)), bd)})
## user system elapsed
## 0.26 0.03 0.29
system.time({DT1 <- DT[,which(unlist(lapply(DT, function(x)!all(is.na(x))))),with=F]})
## user system elapsed
## 0.14 0.03 0.18
data.frame
ただし、でも同じことができます。ここには本当に必要なものは何もありませんdata.table
。キーはです。これlapply
により、によって行われるオブジェクト全体のコピーが回避されis.na(df)
ます。それを指摘するための+10。
bd1 <- bd[, unlist(lapply(bd, function(x), !all(is.na(x))))]
,
後を削除する必要があると思いますfunction(x)
-例btwのおかげで
dplyr
今持っているselect_if
ここで役に立つかもしれ動詞:
library(dplyr)
temp <- data.frame(x = 1:5, y = c(1,2,NA,4, 5), z = rep(NA, 5))
not_all_na <- function(x) any(!is.na(x))
not_any_na <- function(x) all(!is.na(x))
> temp
x y z
1 1 1 NA
2 2 2 NA
3 3 NA NA
4 4 4 NA
5 5 5 NA
> temp %>% select_if(not_all_na)
x y
1 1 1
2 2 2
3 3 NA
4 4 4
5 5 5
> temp %>% select_if(not_any_na)
x
1 1
2 2
3 3
4 4
5 5
dplyr
解決策を探してここに来ました。がっかりしなかった。ありがとう!
別の方法は、apply()
関数を使用することです。
data.frameがある場合
df <- data.frame (var1 = c(1:7,NA),
var2 = c(1,2,1,3,4,NA,NA,9),
var3 = c(NA)
)
次に、を使用apply()
して、どの列が条件を満たすかを確認できます。そのため、apply
アプローチを使用するだけで、Musaの回答と同じサブセットを簡単に実行できます。
> !apply (is.na(df), 2, all)
var1 var2 var3
TRUE TRUE FALSE
> df[, !apply(is.na(df), 2, all)]
var1 var2
1 1 1
2 2 2
3 3 1
4 4 3
5 5 4
6 6 NA
7 7 NA
8 NA 9
これもお役に立てば幸いです。単一のコマンドにすることもできますが、2つのコマンドに分割すると読みやすくなります。以下の命令で関数を作って、電光石火で高速に動作しました。
naColsRemoval = function (DataTable) {
na.cols = DataTable [ , .( which ( apply ( is.na ( .SD ) , 2 , all ) ) )]
DataTable [ , unlist (na.cols) := NULL , with = F]
}
.SDでは、必要に応じて検証をテーブルの一部に制限できますが、テーブル全体が次のようになります。
Janitorパッケージを使用できます remove_empty
library(janitor)
df %>%
remove_empty(c("rows", "cols")) #select either row or cols or both
また、別のdplyrアプローチ
library(dplyr)
df %>% select_if(~all(!is.na(.)))
または
df %>% select_if(colSums(!is.na(.)) == nrow(df))
これは、特定の数の欠損値を持つ列のみを除外/保持する場合にも役立ちます。例:
df %>% select_if(colSums(!is.na(.))>500)