Настройка окружения. переменная HADOOP_STREAMING для RStudio

Я установил RStudio 3.1 на Horton Hadoop.

В настоящее время моя переменная среды Hadoop Streaming установлена ​​с использованием этого пути export HADOOP_STREAMING=/usr/lib/hadoop-mapreduce/hadoop-streaming.jar

Я получаю сообщение об ошибке при выполнении простого преобразования карты с помощью RStudio

Ошибка в hadoop.streaming(). Убедитесь, что файл env. установлена ​​переменная HADOOP_STREAMING

Может ли кто-нибудь сказать мне, каков правильный путь для файла jar для потоковой передачи Hadoop? Спасибо.


rstudio hadoop hortonworks-data-platform rhadoop
person Tyrone Williams    schedule 24.09.2014    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Это зависит от того, где у вас установлены библиотеки Hadoop, например, если вы используете дистрибутив cloudera, вы можете использовать внутри R следующее:

Sys.setenv(HADOOP_STREAMING = "/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hadoop-mapreduce/hadoop-streaming.jar")
person theofpa    schedule 10.10.2014
comment
Спасибо, я попробую это - person Tyrone Williams; 17.10.2014