Мне дали многоступенчатую каскадную программу, которая выполняется примерно в десять раз дольше, чем эквивалентное задание M/R. Как мне выяснить, какой из шагов выполняется медленнее всего, чтобы я мог настроить его для оптимизации?
Какие инструменты существуют для сравнительного анализа процедур Cascading for Hadoop?
Ответы (1)
Не полный ответ, но достаточно, чтобы вы начали, я думаю. Вам необходимо создать графическое представление рабочего процесса MapReduce для вашей работы. См. пример на этой странице: http://www.cascading.org/multitool/. График должен помочь понять, где находится узкое место.
person
mohit6up
schedule
05.06.2013
