Ошибка недопустимого доступа при инициализации SparkConf — MLLIB

Команда,

Я просто играю со искрой и мллиб. Установлены scala и spark, указанные ниже версии.

Scala — 2.11.7 Spark — 1.4.0 (сделал пакет mvn с параметром -Dscala-2.11)

Я пытаюсь запустить классификацию Java, кластеризуя примеры, которые поставляются вместе с документацией. Однако я получаю сообщение об ошибке незаконного доступа, когда пытаюсь инициализировать объект SparkConf.

Я пытаюсь сделать что-то столь же простое, как это:

> SparkConf conf = new SparkConf().setAppName("SVM Classifier Example");
> SparkContext sc = new SparkContext(conf);

Пожалуйста, найдите трассировку ошибки ниже:

Исключение в потоке «основной» java.lang.IllegalAccessError: попытка доступа к методу scala.collection.mutable.HashSet.()V из класса org.apache.spark.util.Utils$ в org.apache.spark.util.Utils$ .(Utils.scala:195) в org.apache.spark.util.Utils$.(Utils.scala) в org.apache.spark.SparkConf.(SparkConf.scala:58) в MultinomialLogisticRegressionExample.main(MultinomialLogisticRegressionExample.java: 15)

Как мне это сделать? Погуглил и не смог сделать вывод. Пожалуйста, помогите и заранее спасибо.


person Greenhorn    schedule 02.07.2015    source источник


Ответы (1)


Вместо этого попробуйте scala 2.10. Я использую mllib, и у меня были проблемы со scala 2.11. После перехода на 2.10 все работает без проблем.

person milos.ai    schedule 02.07.2015