Воспроизводимое разбиение данных на обучение и тестирование в R

Распространенным способом выборки/разделения данных в R является использование sample, например, для номеров строк. Например:

require(data.table)
set.seed(1)

population <- as.character(1e5:(1e6-1))  # some made up ID names

N <- 1e4  # sample size

sample1 <- data.table(id = sort(sample(population, N)))  # randomly sample N ids
test <- sample(N-1, N/2, replace = F)
test1 <- sample1[test, .(id)]

Проблема в том, что это не очень устойчиво к изменениям данных. Например, если мы отбросим только одно наблюдение:

sample2 <- sample1[-sample(N, 1)]

образцы 1 и 2 почти идентичны:

nrow(merge(sample1, sample2))

[1] 9999

Тем не менее, одно и то же разбиение строк дает очень разные наборы тестов, даже если мы установили начальное значение:

test2 <- sample2[test, .(id)]
nrow(test1)

[1] 5000

nrow(merge(test1, test2))

[1] 2653

Можно выбрать определенные идентификаторы, но это будет ненадежно, если наблюдения будут опущены или добавлены.

Как сделать разделение более устойчивым к изменениям данных? А именно, не изменилось ли назначение проверки для неизменных наблюдений, а не назначения отброшенных наблюдений и переназначения новых наблюдений?


r reproducible-research cross-validation sampling robustness
person dzeltzer    schedule 11.10.2018    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Используйте хэш-функцию и образец последней цифры по модулю:

md5_bit_mod <- function(x, m = 2L) {
  # Inputs: 
  #  x: a character vector of ids
  #  m: the modulo divisor (modify for split proportions other than 50:50)
  # Output: remainders from dividing the first digit of the md5 hash of x by m
  as.integer(as.hexmode(substr(openssl::md5(x), 1, 1)) %% m)
}

разбиение хеша в этом случае работает лучше, т.к. назначение test/train определяется хешем каждого обс., а не его относительным расположением в данных

test1a <- sample1[md5_bit_mod(id) == 0L, .(id)]
test2a <- sample2[md5_bit_mod(id) == 0L, .(id)]

nrow(merge(test1a, test2a))

[1] 5057

nrow(test1a)

[1] 5057

размер выборки не совсем 5000, потому что назначение является вероятностным, но это не должно быть проблемой в больших выборках благодаря закону больших чисел.

См. также: http://blog.richardweiss.org/2016/12/25/hash-splits.html и https://crypto.stackexchange.com/questions/20742/statistical-properties-of-hash-functions-when-calculating-modulo

person dzeltzer    schedule 11.10.2018