Как настроить Livy/spark для Zeppelin?

Я успешно настроил Zeppelin со Spark. Однако я хочу использовать мультиарендность, и для этого я хочу настроить Zeppelin с Livy и Spark.

Для Ливи я предоставил следующие два пути

export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf

Я могу успешно выполнить следующую команду в Zeppelin:

%livy.spark
sc.version

Однако следующая команда не работает:

%livy.sql
select * from myDB.table1

Я вижу следующую ошибку:

<console>:14: error: not found: value sqlContext
              sqlContext.sql("select * from datalake.combination2").show(1000)

Я еще не включил аутентификацию Широ для Zeppelin. Мое предположение заключалось в том, что Ливи будет входить в Spark, используя пользователя по умолчанию, поскольку я предоставляю домашний каталог Spark. Может ли кто-нибудь указать, как я могу решить вышеуказанную проблему? А также, какие конфигурации мне нужно сделать, чтобы включить олицетворение?


apache-spark impersonation apache-zeppelin livy
person Dan    schedule 11.01.2017    source источник
comment
Привет, Дэн, какую версию Spark и Livy ты используешь?   -  person Maziyar    schedule 03.09.2017

Ответы (1)


arrow_upward
0
arrow_downward

Это происходит со мной, когда мой кластер не получает достаточно ресурсов для запуска активного сеанса. Вы настроили свою сессию livy в zeppelin?
интерпретатор -> livy2 -> базовая конфигурация spark:

      - livy.spark.driver.cores  
      - livy.spark.driver.memory  
      - livy.spark.executor.cores   
      - livy.spark.executor.instances   
      - livy.spark.executor.memory  
      - livy.spark.master  
      - livy.spark.submit.deployMode

также настроить инстанцирование интерпретатора: globally | пользователь | примечание

person maxime G    schedule 05.09.2019