Я хотел бы добавить столбец, заполненный символом N в DataFrame в SparkR. Я бы сделал это с кодом, отличным от SparkR:
df$new_column <- "N"
Но с SparkR я получаю следующую ошибку:
Error: class(value) == "Column" || is.null(value) is not TRUE
Я пробовал безумные вещи, чтобы управлять им, мне удалось создать столбец, используя другой (существующий) столбец с df <- withColumn(df, "new_column", df$existing_column), но эта простая вещь, нет ...
Любая помощь ?
Спасибо.
Прямым решением будет использование функции SparkR::lit():
df_new = withColumn(df, "new_column_name", lit("N"))
В более новых версиях Spark также работает следующее:
df1$new_column <- "N"
df1[["new_column"]] <- "N"
lit(), удалю свой ответ, когда OP примет ваш.
- person mtoto; 20.05.2016
df <- withColumn(df, "col", lit(NA)), а затем returnstr(df), я получаю следующую ошибку: Error in FUN(X[[i]], ...) : Unsupported data type: null. Я могу открыть новый вопрос, но подумал, что @DmitriySelivanov или @fmalaussena могут знать ответ после работы с проблемой.
- person kathystehl; 15.07.2016
df <- withColumn(df, "col", lit("NA")) должен работать (с " " вокруг NA)
- person François M.; 18.07.2016
Есть более простой способ использовать SparkR::lit(), который более точно имитирует синтаксис, который вы пробовали сначала:
df$new_column <- lit("N")
ifelseс одинаковым возвращаемым значением для обоих условий. Итакdf$new <- ifelse(condition, 'N', 'N'). - person mtoto schedule 19.05.2016