data.frameで欠落している値を報告するエレガントな方法

これは、データフレームから値が欠落している変数をレポートするために作成した小さなコードです。私はこれを行うためのよりエレガントな方法を考えようとしています。おそらくdata.frameを返す方法ですが、行き詰まっています。

for (Var in names(airquality)) {
    missing <- sum(is.na(airquality[,Var]))
    if (missing > 0) {
        print(c(Var,missing))
    }
}

編集：私は数十から数百の変数を持つdata.framesを扱っているので、欠落している値を持つ変数のみを報告することが重要です。

使用するだけ sapply

> sapply(airquality, function(x) sum(is.na(x)))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0

によって作成されたマトリックスでapplyまたはcolSumsを使用することもできますis.na()

> apply(is.na(airquality),2,sum)
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0
> colSums(is.na(airquality))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0 

map_dfpurrrで使用できます。

library(mice)
library(purrr)

# map_df with purrr
map_df(airquality, function(x) sum(is.na(x)))
# A tibble: 1 × 6
# Ozone Solar.R  Wind  Temp Month   Day
# <int>   <int> <int> <int> <int> <int>
# 1    37       7     0     0     0     0

（広すぎない）データの私の新しいお気に入りは、優れたnaniarパッケージのメソッドです。頻度だけでなく、欠落のパターンも取得します。

library(naniar)
library(UpSetR)

riskfactors %>%
  as_shadow_upset() %>%
  upset()

欠落のある散布図をプロットすることで達成できる、欠落がないこととの関係で欠落がどこにあるかを確認すると便利なことがよくあります。

ggplot(airquality,
       aes(x = Ozone,
           y = Solar.R)) +
 geom_miss_point()

または、カテゴリ変数の場合：

gg_miss_fct(x = riskfactors, fct = marital)

これらの例は、他の興味深い視覚化をリストしたパッケージビネットからのものです。

summary(airquality)

すでにこの情報を提供しています

VIMのパッケージもdata.frameのためのいくつかの素晴らしい欠落したデータプロットを提供しています

library("VIM")
aggr(airquality)

より簡潔-： sum(is.na(x[1]))

あれは

1. x[1] 最初の列を見てください

2. is.na() それが本当なら本当 NA

3. sum() TRUEです1、FALSEです0

別のグラフィカルな代替手段-plot_missing優れたDataExplorerパッケージの関数：

ドキュメントは、この結果を保存して追加の分析を行うことができるという事実も指摘していますmissing_data <- plot_missing(data)。

不足しているデータを確認するのに役立つもう1つの関数は、funModelingライブラリのdf_statusです。

library(funModeling)

iris.2は、いくつかのNAが追加されたアイリスデータセットです。これをデータセットに置き換えることができます。

df_status(iris.2)

これにより、各列のNAの数と割合がわかります。

もう1つのグラフィカルなソリューションとして、visdat パッケージはを提供しますvis_miss。

library(visdat)
vis_miss(airquality)

Amelia出力と非常によく似ていますが、箱から出して不足しているものに％sを与えるというわずかな違いがあります。

Ameliaライブラリは、欠落データの処理に優れていると思います。欠落した行を視覚化するためのマップも含まれています。

install.packages("Amelia")
library(Amelia)
missmap(airquality)

次のコードを実行して、naの論理値を返すこともできます。

row.has.na <- apply(training, 1, function(x){any(is.na(x))})

もう1つのグラフィカルでインタラクティブな方法はis.na10、heatmaplyライブラリの関数を使用することです。

library(heatmaply)

heatmaply(is.na10(airquality), grid_gap = 1, 
          showticklabels = c(T,F),
            k_col =3, k_row = 3,
            margins = c(55, 30), 
            colors = c("grey80", "grey20"))

おそらく、大きなデータセットではうまく機能しません。

特定の列に対してそれを実行したい場合は、これを使用することもできます

length(which(is.na(airquality[1])==T))

ExPanDaRのパッケージ関数prepare_missing_values_graphを使用して、パネルデータを調べることができます。

dplyrカウントを取得するためのソリューションは次のようになります。

summarise_all(df, ~sum(is.na(.)))

またはパーセンテージを取得するには：

summarise_all(df, ~(sum(is_missing(.) / nrow(df))))

また、欠落しているデータは醜く、一貫性がなくNA、ソースやインポート時の処理方法に応じてコード化されるとは限らないことにも注意してください。次の関数は、データと不足していると見なしたいものに応じて微調整できます。

is_missing <- function(x){
  missing_strs <- c('', 'null', 'na', 'nan', 'inf', '-inf', '-9', 'unknown', 'missing')
  ifelse((is.na(x) | is.nan(x) | is.infinite(x)), TRUE,
         ifelse(trimws(tolower(x)) %in% missing_strs, TRUE, FALSE))
}

# sample ugly data
df <- data.frame(a = c(NA, '1', '  ', 'missing'),
                 b = c(0, 2, NaN, 4),
                 c = c('NA', 'b', '-9', 'null'),
                 d = 1:4,
                 e = c(1, Inf, -Inf, 0))

# counts:
> summarise_all(df, ~sum(is_missing(.)))
  a b c d e
1 3 1 3 0 2

# percentage:
> summarise_all(df, ~(sum(is_missing(.) / nrow(df))))
     a    b    c d   e
1 0.75 0.25 0.75 0 0.5