Обновление отдельных компонентов CDH в Community Edition с помощью «Установщика в один клик»

Может ли кто-нибудь сообщить мне, возможно ли обновить отдельный компонент CDH до версии 5.13 с версии 5.7 с помощью «1 Click Installer» для Community Edition?

Например, допустим, я хочу обновить только hadoop-hdfs-datanode до последней версии на сервере. Если я делаю sudo apt-get install hadoop-hdfs-datanode, он обновляет другой компонент CDH, также работающий в этом узле (например, resource-manager, node-manager и т. д.).

Как обсуждалось здесь, если я пытаюсь обновить hadoop-yarn-resourcemanager, он обновляет почти все компоненты cdh hadoop.

support@platform1:~$ sudo apt-get install hadoop-yarn-resourcemanager
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following extra packages will be installed:
  hadoop hadoop-0.20-mapreduce hadoop-client hadoop-conf-pseudo hadoop-hdfs
  hadoop-hdfs-datanode hadoop-hdfs-journalnode hadoop-hdfs-namenode
  hadoop-hdfs-secondarynamenode hadoop-hdfs-zkfc hadoop-mapreduce
  hadoop-mapreduce-historyserver hadoop-yarn hadoop-yarn-nodemanager
The following packages will be upgraded:
  hadoop hadoop-0.20-mapreduce hadoop-client hadoop-conf-pseudo hadoop-hdfs
  hadoop-hdfs-datanode hadoop-hdfs-journalnode hadoop-hdfs-namenode
  hadoop-hdfs-secondarynamenode hadoop-hdfs-zkfc hadoop-mapreduce
  hadoop-mapreduce-historyserver hadoop-yarn hadoop-yarn-nodemanager
  hadoop-yarn-resourcemanager
15 upgraded, 0 newly installed, 0 to remove and 16 not upgraded.

hadoop cloudera-cdh
person tuk    schedule 20.12.2017    source источник
comment
Версия datanode должна совпадать с namenode. И все внешние клиенты очень сильно зависят от версии клиента Hadoop, которая взаимодействует с узлами данных. Другими словами, это не рекомендуется   -  person OneCricketeer    schedule 20.12.2017
comment
Я наблюдал подобное при попытке обновить hadoop-yarn-resourcemanager, он также обновлял nodemanager.   -  person tuk    schedule 20.12.2017

Ответы (1)


arrow_upward
0
arrow_downward

он обновляет другой компонент CDH, также работающий в этом узле

Я сомневаюсь, что он обновляет все в узле, только зависимые службы обновления клиента Hadoop.

Если бы вы установили Hadoop отдельно, он включал бы HDFS, MapReduce, YARN и клиентские библиотеки Hadoop. Поэтому имеет смысл, что обновление пакета datanode попытается захватить эти пакеты, но не пакеты HBase, Hive, Pig, Spark, Oozie и т. д.

По сути, вам необходимо убедиться, что все ваши клиентские библиотеки Hadoop имеют одну и ту же версию. Сама CDH не отказывалась от Hadoop 2.6.0 между этими выпусками, хотя и добавляла исправления в этот базовый выпуск, так что можно было бы обновиться.

Однако возьмем в качестве примера HBase. В документации указано, что это Hadoop 2.6.0, 2.7.0 или Hadoop 2.8. х поддерживаются; Hadoop 3.x не тестировался; поддерживаются только 2.6.1+ или 2.7.1+.

И продолжает говорить, что

В распределенном режиме критично, чтобы версия Hadoop, выпущенная в вашем кластере, совпадала с той, что находится в HBase... Убедитесь, что вы заменили jar в HBase во всем кластере. Проблемы с несоответствием версий Hadoop проявляются по-разному, но часто все выглядят так, будто он завис.

Все обновления компонентов должны быть выполнены, и Cloudera прилагает все усилия, чтобы все компоненты одного выпуска работали вместе, а не смешивались между выпусками.

person OneCricketeer    schedule 20.12.2017
comment
Мой ответ все тот же. Все клиенты Hadoop обновляются для любого отдельного компонента. - person OneCricketeer; 21.12.2017
comment
Таким образом, похоже, что мы не сможем выполнить последовательное обновление через командную строку, как описано в stackoverflow.com/questions/47660125/ ? - person tuk; 22.12.2017
comment
Apt get имеет необязательные флаги, чтобы не устанавливать дополнительные пакеты. - person OneCricketeer; 22.12.2017