Не обсуждая все другие факторы производительности, дисковое пространство и объекты узла Name, как фактор репликации может улучшить производительность MR, Tez и Spark.
Если у нас есть, например, 5 datanades, лучше ли механизму выполнения установить репликацию на 5? Какое лучшее и худшее значение?
Как это может быть хорошо для агрегаций, объединений и задач, связанных только с картой?
Один из основных арендаторов Hadoop переносит вычисления в данные.
Если вы установите коэффициент репликации примерно равным количеству узлов данных, вы гарантируете, что каждая машина сможет обрабатывать эти данные.
Однако, как вы упомянули, накладные расходы namenode очень важны, и большее количество файлов или реплик вызывает медленные запросы. Дополнительные реплики также могут перегрузить вашу сеть в неработоспособном кластере. Я никогда не видел ничего выше 5, и это только для самых важных данных компании. Что-нибудь еще, они оставили на 2 реплики
Механизм выполнения не имеет большого значения, за исключением того, что Tez/Spark превосходит MR в большинстве случаев, но важнее размер ваших файлов и формат, в котором они хранятся — это будет основным фактором производительности выполнения.
