Я пытаюсь использовать пакет SparkR в R. У меня есть все зависимые пакеты, такие как devtools , Rtools.exe и т. д. Когда я пытаюсь выполнить следующую команду: install_github("amplab-extras/SparkR-pkg",subdir="pkg") Я...

Я присоединил два фрейма данных к столбцу с одинаковым именем. oe = join(orders, emp, orders$EmployeeID == emp$EmployeeID) Результирующий фрейм данных имеет два столбца с одинаковыми именами EmployeeID Теперь группа по имени столбца или...

Размер моих собранных данных составляет 1,3 г, а все конфигурации памяти драйвера установлены на 3 г. Почему нехватка памяти все еще происходит?? Это моя подробная конфигурация сообщения об исключении sparkR и OOM....

Как удалить первые n строк (заголовок) файла CSV, прочитанного SparkR. Я знаю, что в Scala возможны некоторые вещи, например Как преобразовать файл csv в rdd или http://qnalist.com/questions/4849107/skip-lines-in-spark , но трудно применить его к...

Я пытаюсь запустить нелинейную регрессию (NLR) для очень большого набора данных. Для небольших тестовых наборов данных у меня есть рабочий код в R, и я пытаюсь перенести его в SparkR. Я новичок в Spark(R и других). R (мой рабочий код):...

Я хотел бы добавить столбец, заполненный символом N в DataFrame в SparkR. Я бы сделал это с кодом, отличным от SparkR: df$new_column <- "N" Но с SparkR я получаю следующую ошибку: Error: class(value) == "Column" || is.null(value) is...

В документации интерпретатора zeppelin R указано: If you return a data.frame, Zeppelin will attempt to display it using Zeppelin's built-in visualizations. Это можно увидеть в примере документации: Однако, когда я пытаюсь запустить...

С SparkR 1.4.1 при работе с фреймом данных структуры: printSchema(dta) root |-- date: timestamp (nullable = true) |-- valA: float (nullable = true) |-- valB: float (nullable = true) |-- ... Я хочу преобразовать все существующие...

У меня есть файл в формате CSV, который содержит таблицу со столбцами «id», «timestamp», «action», «value» и «location». Я хочу применить функцию к каждой строке таблицы, и я уже написал код в R следующим образом: user <-...

Я пытаюсь решить эту проблему, когда пытаюсь использовать sparkR. sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "1g")) Error in handleErrors(returnStatus, conn) : java.lang.IllegalArgumentException: Error while...

Я новичок в SparkR, учусь на ходу, а в версии 2.2.0 — SNAPSHOT. У меня есть SparkDataFrame с одним столбцом временных меток UTC, одним столбцом часовых поясов. Например: mydates<- c("2012-12-22 14:23:05", "2015-01-19 16:37:42", "2017-03-02...

Я получаю сообщение об ошибке при записи искрового фрейма данных в csv и паркет. Я уже пытаюсь установить winutil, но до сих пор не устраняю ошибку. мой код INVALID_IMEI <- c("012345678901230","000000000000000")...

Мне нужно добавить столбец в набор данных SparkR (spark версии 2.1.1) на основе некоторых логических критериев для нескольких других столбцов. Но очевидное решение (с использованием && или ||) не работает, я получаю сообщение об ошибке « invalid 'x'...

Я могу легко остановить Spark, когда использую SparkR с помощью sparkR.stop(), как показано в блоке кода ниже: library(SparkR) sparkR.session(master = "local") sparkR.conf(SPARK_HOME) sparkR.stop() detach("package:SparkR", unload=TRUE) Как я...

Я следую примеру sparkR для ALS: # Load training data data <- list(list(0, 0, 4.0), list(0, 1, 2.0), list(1, 1, 3.0), list(1, 2, 4.0), list(2, 1, 1.0), list(2, 2, 5.0)) df <- createDataFrame(data, c("userId", "movieId",...