Sparklyr передает категориальные переменные

Sparklyr обрабатывает категориальные переменные

Я пришел из среды R и привык к тому, что категориальные переменные обрабатываются в бэкэнде (как фактор). В Sparklyr довольно сложно использовать string_indexer или onehotencoder.

Например, у меня есть ряд переменных, которые были закодированы как числовые переменные в исходном наборе данных, но на самом деле они категориальные. Я хочу использовать их как категориальные переменные, но не уверен, что делаю это правильно.

library(sparklyr)
library(dplyr)
sessionInfo()
sc <- spark_connect(master = "local", version = spark_version)
spark_version(sc)
set.seed(1)    
exampleDF <- data.frame (ID = 1:10, Resp = sample(c(100:205), 10, replace = TRUE), 
                     Numb = sample(1:10, 10))

example <- copy_to(sc, exampleDF) 
pred <- example %>% mutate(Resp = as.character(Resp)) %>%
                sdf_mutate(Resp_cat = ft_string_indexer(Resp)) %>%
                ml_decision_tree(response = "Resp_cat", features = "Numb") %>%
                sdf_predict()
pred

Прогноз модели не является категоричным. Увидеть ниже. Означает ли это, что мне также нужно вернуться из прогноза в Resp_cat, а затем в Resp?

R version 3.4.0 (2017-04-21)
Platform: x86_64-redhat-linux-gnu (64-bit)
Running under: CentOS Linux 7 (Core)

spark_version(sc)
[1] ‘2.1.1.2.6.1.0’

Source:   table<sparklyr_tmp_74e340c5607c> [?? x 6]
Database: spark_connection
      ID  Numb  Resp Resp_cat id74e35c6b2dbb prediction
     <int> <int> <chr>    <dbl>          <dbl>      <dbl>
 1     1    10   150        8              0   8.000000
 2     2     3   191        4              1   4.000000
 3     3     4   146        9              2   9.000000
 4     4     9   125        5              3   5.000000
 5     5     8   107        2              4   2.000000
 6     6     2   110        1              5   1.000000
 7     7     5   133        3              6   5.333333
 8     8     7   154        6              7   5.333333
 9     9     1   170        0              8   0.000000
10    10     6   143        7              9   5.333333

r apache-spark sparklyr apache-spark-ml
person Kevin Zheng    schedule 14.08.2017    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Как правило, Spark зависит от метаданных столбца при обработке категориальных данных. В вашем конвейере этим занимается StringIndexer (ft_string_indexer). ML всегда предсказывает метки, а не исходные строки. Обычно вы используете IndexToString трансформатор, предоставляемый ft_index_to_string.

В Spark IndexToString можно использовать предоставленный список меток или Column метаданных. К сожалению, реализация sparklyr ограничена двумя способами:

Возможно, я что-то пропустил, но похоже, что вам придется вручную отображать прогнозы, например, joining с преобразованными данными:

pred %>% 
  select(prediction=Resp_cat, Resp_prediction=Resp) %>% 
  distinct() %>% 
  right_join(pred)

Joining, by = "prediction"
# Source:   lazy query [?? x 9]
# Database: spark_connection
   prediction Resp_prediction    ID  Numb  Resp Resp_cat id777a79821e1e
        <dbl>           <chr> <int> <int> <chr>    <dbl>          <dbl>
 1          7             171     1     3   171        7              0
 2          0             153     2    10   153        0              1
 3          3             132     3     8   132        3              2
 4          5             122     4     7   122        5              3
 5          6             198     5     4   198        6              4
 6          2             164     6     9   164        2              5
 7          4             137     7     6   137        4              6
 8          1             184     8     5   184        1              7
 9          0             153     9     1   153        0              8
10          1             184    10     2   184        1              9
# ... with more rows, and 2 more variables: rawPrediction <list>,
#   probability <list>

Объяснение:

pred %>% 
  select(prediction=Resp_cat, Resp_prediction=Resp) %>% 
  distinct()

создает сопоставление предсказания (закодированной метки) с исходной меткой. Мы переименовываем Resp_cat в prediction, чтобы он мог служить ключом соединения, и Resp в Resp_prediction, чтобы избежать конфликта с фактическим Resp.

Наконец, мы применяем правое равное соединение:

... %>%  right_join(pred)

Примечание:

Следует указать тип дерева:

ml_decision_tree(
  response = "Resp_cat", features = "Numb",type = "classification")
person zero323    schedule 14.08.2017
comment
Это хороший обходной путь. Спасибо! Я очень надеюсь, что Sparklyr сможет справиться с этим внутренне, и для этого я открыл билет. - person Kevin Zheng; 14.08.2017