использовать газированную воду через пакеты искр: com.google.guava не найден

Я пытаюсь использовать газированную воду H2O.ai через пакеты искр. Я следую их руководству: https://github.com/h2oai/sparkling-water#use-sparkling-water-via-spark-packages Я использую Hortonworks HDP 2.4 с Scala 2.10 и Spark 1.6.1. Я поместил следующее в свой терминал:

spark-shell --packages ai.h2o:sparkling-water-core_2.10:1.6.8,ai.h2o:sparkling-water-examples_2.10:1.6.8

Однако он жалуется, что два артефакта не найдены. Вот подробности:

:: problems summary ::
:::: WARNINGS
        [NOT FOUND  ] com.google.guava#guava;16.0.1!guava.jar(bundle) (1ms)
==== local-m2-cache: tried

  file:/root/.m2/repository/com/google/guava/guava/16.0.1/guava-16.0.1.jar

    [NOT FOUND  ] com.google.code.findbugs#jsr305;3.0.0!jsr305.jar (1ms)

==== local-m2-cache: tried

  file:/root/.m2/repository/com/google/code/findbugs/jsr305/3.0.0/jsr305-3.0.0.jar

    ::::::::::::::::::::::::::::::::::::::::::::::

    ::              FAILED DOWNLOADS            ::

    :: ^ see resolution messages for details  ^ ::

    ::::::::::::::::::::::::::::::::::::::::::::::

    :: com.google.guava#guava;16.0.1!guava.jar(bundle)

    :: com.google.code.findbugs#jsr305;3.0.0!jsr305.jar

    ::::::::::::::::::::::::::::::::::::::::::::::



:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
Exception in thread "main" java.lang.RuntimeException: [download failed: com.google.guava#guava;16.0.1!guava.jar(bundle), download failed: com.google.code.findbugs#jsr305;3.0.0!jsr305.jar]
    at org.apache.spark.deploy.SparkSubmitUtils$.resolveMavenCoordinates(SparkSubmit.scala:1068)
    at org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:287)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:154)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

У кого-нибудь есть опыт, как я могу это исправить? Большое спасибо.


apache-spark sparkling-water
person BlueFeet    schedule 17.02.2017    source источник

Ответы (3)


arrow_upward
1
arrow_downward

Удаление ~/.m2 и ~/ivy2 устранило проблему с использованием ai.h2o:sparkling-water-core_2.10:1.6.8.

person BlueFeet    schedule 01.03.2017
comment
Я думаю, вы имеете в виду ~/.ivy2, так как это скрытый каталог. - person kar09; 30.05.2021

arrow_upward
0
arrow_downward

Если вы посмотрите на ошибку «ошибка загрузки: com.google.guava#guava;16.0.1!guava.jar», вы увидите, что это в основном проблемы, связанные со средой, когда пакеты не могут быть загружены во время запуска приложения.

Ваше решение может состоять в том, чтобы загрузить/установить оба неудачно загруженных пакета по отдельности, как показано ниже, чтобы вы могли начать работу:

$ mvn install com.google.guava:guava:21.0:get -DrepoUrl=https://mvnrepository.com
person AvkashChauhan    schedule 22.02.2017

arrow_upward
0
arrow_downward

Похоже на понижение версии jar файлов

spark-shell --packages ai.h2o:sparkling-water-core_2.10:1.6.1,ai.h2o:sparkling-water-examples_2.10:1.6.1

или используя фатжар, предложенный в разделе 5.1.1 Sparkling Буклет о воде

spark-shell --jars [your path]/sparkling-water-1.6.8/assembly/build/libs/sparkling-water-assembly-1.6.8-all.jar

решает проблему. Где sparkling-water-1.6.8 скачивается с H2O

person BlueFeet    schedule 27.02.2017