Немного поздно, но я все равно отвечу.
Вычислительный слот. Можете ли вы представить себе все различные вычисления в Hadoop, которые потребуют некоторого ресурса, то есть памяти/ЦП/размера диска.
Ресурс = требуется память, процессорное ядро или размер диска.
Выделение ресурса для запуска контейнера, выделение ресурса для выполнения карты или задачи сокращения и т. д.
Все дело в том, как вы хотели бы управлять ресурсами, которые у вас есть. Что бы это было? Объем оперативной памяти, ядер, дисков.
Цель состоит в том, чтобы убедиться, что ваша обработка не ограничена ни одним из этих ресурсов кластера. Вы хотите, чтобы ваша обработка была максимально динамичной.
Например, Hadoop YARN позволяет настроить минимальный объем ОЗУ, необходимый для запуска контейнера YARN, минимальный объем ОЗУ, необходимый для запуска задачи MAP/REDUCE, размер кучи JVM (для задач Map и Reduce) и объем виртуальной памяти, который получит каждая задача. .
В отличие от Hadoop MR1, вы не выполняете предварительную настройку (например, размер ОЗУ) еще до того, как начнете выполнять задачи Map-Reduce. В том смысле, что вы хотели бы, чтобы распределение ресурсов было как можно более эластичным, то есть динамически увеличивайте количество ядер RAM/CPU либо для задачи MAP, либо для задачи REDUCE.
person
Opster ES Ninja - Kamal
schedule
10.10.2016
