Отправить задание Spark не загружает пакет spark-cloudant:2.0.0-s_2_11

Я отправляю Spark, используя команду ниже,

./spark-submit --packages cloudant-labs:spark-cloudant:2.0.0-s_2.11 --class spark.cloudant.connecter.cloudantconnecter --master local[*] /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter .банка

Но кажется, что пакет "spark-cloudant" не загружается. Возможно, он не загружается из-за артефакта, расположенного в репозитории пакетов Spark (https://dl.bintray.com/spark-packages/maven/)

Итак, какие изменения требуются в команде для загрузки пакета?

Полная информация об этом пакете показана здесь https://mvnrepository.com/artifact/cloudant-labs/spark-cloudant/2.0.0-s_2.11


apache-spark apache-spark-sql cloudant
person Vimal Dhaduk    schedule 02.12.2016    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Кажется, требуется добавить репозиторий при загрузке пакета с помощью команды Spark-submit,

-- адрес репозитория

Итак, новая команда будет,

./spark-submit --packages cloudant-labs:spark-cloudant:2.0.0-s_2.11 -- репозитории https://dl.bintray.com/spark-packages/maven/ --class spark.cloudant.connecter.cloudantconnecter --master local[*] / opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar

person Vimal Dhaduk    schedule 02.12.2016