sparkR: ошибка при создании экземпляра «org.apache.spark.sql.hive.HiveSessionState»:

Я пытаюсь решить эту проблему, когда пытаюсь использовать sparkR.

sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "1g"))
Error in handleErrors(returnStatus, conn) : 
  java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':
    at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981)
    at org.apache.spark.sql.SparkSession.sessionState$lzycompute(SparkSession.scala:110)
    at org.apache.spark.sql.SparkSession.sessionState(SparkSession.scala:109)
    at org.apache.spark.sql.api.r.SQLUtils$$anonfun$setSparkContextSessionConf$2.apply(SQLUtils.scala:67)
    at org.apache.spark.sql.api.r.SQLUtils$$anonfun$setSparkContextSessionConf$2.apply(SQLUtils.scala:66)
    at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:733)
    at scala.collection.Iterator$class.foreach(Iterator.scala:893)
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1336)
    at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
    at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
    at scala.collection.Traversabl

Надеюсь, это понятное решение, я новичок в искрах и ничего не знаю о java scala. БОЛЬШОЕ СПАСИБО!


person user135633    schedule 08.04.2017    source источник


Ответы (2)


У меня была такая же ошибка. Похоже, это связано с правами пользователя. Поэтому у вас есть два варианта:

1) Запустите sparkR из каталога, где у вас есть необходимые права (необходимое условие: папка spark bin должна быть включена в переменную окружения PATH: export PATH=$SPARK_HOME/bin:$PATH):

cd ~
sparkR

2) Запустите sparkR с привилегиями sudo:

/opt/spark/bin $ sudo ./sparkR
person Aydin K.    schedule 16.06.2017

Попробуйте удалить HADOOP_CONF_DIR из переменных среды.

person wbmrcb    schedule 24.07.2017