Елегантен начин за докладване на липсващи стойности в data.frame

Просто използвайте sapply

> sapply(airquality, function(x) sum(is.na(x)))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0

Можете също да използвате apply или colSums в матрицата, създадена от is.na()

> apply(is.na(airquality),2,sum)
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0
> colSums(is.na(airquality))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0 

Новият ми фаворит за (не твърде широки) данни са методите от отличния пакет naniar. Не само получавате честоти, но и модели на липса:

library(naniar)
library(UpSetR)

riskfactors %>%
  as_shadow_upset() %>%
  upset()

Често е полезно да се види къде са липсващите по отношение на нелипсващите, което може да се постигне чрез начертаване на диаграмата на разсейване с липсващи:

ggplot(airquality,
       aes(x = Ozone,
           y = Solar.R)) +
 geom_miss_point()

Или за категорични променливи:

gg_miss_fct(x = riskfactors, fct = marital)

Тези примери са от пакет vignette, който изброява други интересни визуализации.

Можем да използваме map_df с purrr.

library(mice)
library(purrr)

# map_df with purrr
map_df(airquality, function(x) sum(is.na(x)))
# A tibble: 1 × 6
# Ozone Solar.R  Wind  Temp Month   Day
# <int>   <int> <int> <int> <int> <int>
# 1    37       7     0     0     0     0

summary(airquality)

вече ви дава тази информация

Пакетите VIM също предлагат някои хубави диаграми на липсващи данни за data.frame

library("VIM")
aggr(airquality)

По-кратко-: sum(is.na(x[1]))

Това е

1. x[1] Погледнете първата колона

2. is.na() вярно, ако е NA

3. sum() TRUE is 1, FALSE is 0

Друга графична алтернатива - plot_missing функция от отличен DataExplorer пакет:

Документи също посочват факта, че можете да запазите тези резултати за допълнителен анализ с missing_data <- plot_missing(data).

Друга функция, която би ви помогнала да разгледате липсващите данни, е df_status от библиотеката funModeling

library(funModeling)

iris.2 е наборът от данни за ириса с някои добавени NA. Можете да замените това с вашия набор от данни.

df_status(iris.2)

Това ще ви даде броя и процента на NA във всяка колона.

За още едно графично решение visdat пакет предлага vis_miss.

library(visdat)
vis_miss(airquality)

Много подобен на Amelia изход с малка разлика в даването на %s при липсващи данни извън кутията.

Мисля, че библиотеката Amelia върши добра работа при обработката на липсващи данни, също така включва карта за визуализиране на липсващите редове.

install.packages("Amelia")
library(Amelia)
missmap(airquality)

Можете също да изпълните следния код, който ще върне логическите стойности на na

row.has.na <- apply(training, 1, function(x){any(is.na(x))})

Друг графичен и интерактивен начин е да използвате is.na10 функция от heatmaply библиотека:

library(heatmaply)

heatmaply(is.na10(airquality), grid_gap = 1, 
          showticklabels = c(T,F),
            k_col =3, k_row = 3,
            margins = c(55, 30), 
            colors = c("grey80", "grey20"))

Вероятно няма да работи добре с големи набори от данни..

Ако искате да го направите за определена колона, можете също да използвате това

length(which(is.na(airquality[1])==T))

Пакетната функция на ExPanDaR prepare_missing_values_graph може да се използва за изследване на данните от панела:

dplyr Решение за получаване на броя може да бъде:

summarise_all(df, ~sum(is.na(.)))

Или за да получите процент:

summarise_all(df, ~(sum(is_missing(.) / nrow(df))))

Може би също така си струва да се отбележи, че липсващите данни могат да бъдат грозни, непоследователни и не винаги кодирани като NA в зависимост от източника или начина, по който се обработват при импортиране. Следната функция може да бъде променена в зависимост от вашите данни и това, което искате да считате за липсващо:

is_missing <- function(x){
  missing_strs <- c('', 'null', 'na', 'nan', 'inf', '-inf', '-9', 'unknown', 'missing')
  ifelse((is.na(x) | is.nan(x) | is.infinite(x)), TRUE,
         ifelse(trimws(tolower(x)) %in% missing_strs, TRUE, FALSE))
}

# sample ugly data
df <- data.frame(a = c(NA, '1', '  ', 'missing'),
                 b = c(0, 2, NaN, 4),
                 c = c('NA', 'b', '-9', 'null'),
                 d = 1:4,
                 e = c(1, Inf, -Inf, 0))

# counts:
> summarise_all(df, ~sum(is_missing(.)))
  a b c d e
1 3 1 3 0 2

# percentage:
> summarise_all(df, ~(sum(is_missing(.) / nrow(df))))
     a    b    c d   e
1 0.75 0.25 0.75 0 0.5