Создайте SparkSession

У меня есть искра в качестве переводчика в Zeppelin. Я использую Spark2.0, я создал Session: Create


apache-spark apache-zeppelin
person vero    schedule 12.04.2018    source источник
comment
Какой вопрос?   -  person Marsellus Wallace    schedule 13.04.2018

Ответы (1)


arrow_upward
3
arrow_downward

В общем, вы не должны инициализировать SparkSession или SparkContext в Zeppelin. Блокноты Zeppelin настроены на создание сеанса для вас, и их правильное поведение зависит от использования предоставленных объектов.

Инициализация вашего SparkSession нарушит основные функции Zeppelin, а несколько SparkContexts полностью сломают все в худшем случае.

Установлено ли для spark.driver.allowMultipleContexts значение False, чтобы лучше всего проводить тесты?

Вы никогда не должны использовать spark.driver.allowMultipleContexts - он не поддерживается и не гарантирует правильных результатов.

person Community    schedule 12.04.2018