Конфигурация Zeppelin: есть ли где-то кеш?

Похоже, я что-то упустил в том, как Zeppelin считывает конкретную конфигурацию интерпретатора.

Например, я установил spark.cores.max на 12 в zeppelin-env.sh и spark-defaults.sh в $SPARK_HOME/conf, но запуск интерпретатора Spark запускал приложение Spark только с 4 ядрами.

Затем я изменил это свойство в пользовательском интерфейсе интерпретатора Zeppelin, и это сработало.

  • Где хранятся свойства, установленные с помощью пользовательского интерфейса (веб-страницы)?
  • этот пользовательский интерфейс должен быть «синхронизирован» с zeppelin-env.sh или zeppelin-site.xml?

apache-zeppelin
person Cedric H.    schedule 22.09.2016    source источник
comment
Пользовательский интерфейс не синхронизируется с файлами, которые вы упомянули. Итак, вы остановили демона, запустили bash zeppelin-env.sh и перезапустили?   -  person eliasah    schedule 25.09.2016
comment
Да. Я предполагаю, что пользовательский интерфейс что-то сохраняет где-то? Существует постоянство даже после перезапуска демона, верно?   -  person Cedric H.    schedule 25.09.2016

Ответы (1)


arrow_upward
3
arrow_downward

Здесь есть иерархия:

  • параметры в пользовательском интерфейсе (интерпретаторе) имеют приоритет над тем, что указано в zeppelin-env.sh;
  • параметры, настроенные в zeppelin-env.sh, имеют приоритет над тем, что указано в spark-defaults.sh; а также,
  • если ничего не указано с помощью вышеизложенного, параметры конфигурации возвращаются к параметрам, указанным в spark-defaults.sh.

Здесь есть важная двойственность в отношении того, что можно ожидать от любого искрового приложения:

  • параметры конфигурации, явно заданные в приложении, имеют приоритет над параметрами, указанными с помощью spark-submit;
  • параметры, указанные с помощью spark-submit, имеют приоритет над указанными с помощью spark-defaults.sh; а также,
  • если ничего не указано выше, то параметры конфигурации возвращаются к указанным в spark-defaults.sh.

Так что то, что вы наблюдаете, ожидаемо, хотя я тоже нахожу это запутанным (и нигде не особенно хорошо задокументировано).

person Alex Ioannides    schedule 29.09.2016
comment
Это звучит очень ясно для меня. Где сохраняются/хранятся параметры пользовательского интерфейса (интерпретатора)? - person Cedric H.; 29.09.2016
comment
Попробуйте conf/interpreter.json - person Alex Ioannides; 29.09.2016
comment
Рааааа. Наконец :) Вселенная снова имеет смысл! - person Cedric H.; 29.09.2016
comment
По крайней мере, на ближайшие 30 лет :-) - person Alex Ioannides; 29.09.2016
comment
Просто небольшое продолжение, потому что конфигурации цеппелинов на какое-то время запутали меня. Если кто-то изменит параметры конфигурации внутри zeppelin-env.sh, то простой перезапуск сервера Zeppelin не приведет к каким-либо изменениям. Для этого вы можете безопасно удалить старый файл interpreter.json, а новый файл с вашими новыми настройками займет его место. Я не хочу вносить изменения в пользовательский интерфейс, так как я хотел бы выделить определенные ресурсы для службы zeppelin перед запуском. Наконец, это не повлияет на ваши записные книжки, поскольку они размещены в другом каталоге. - person raschild; 31.10.2016