Получих многоетапна каскадна програма, която се изпълнява за около десет пъти по-дълго време, отколкото се изпълнява еквивалентна M/R задача. Как да разбера коя от стъпките се изпълнява най-бавно, за да мога да я насоча за оптимизиране?
Какви инструменти съществуват за сравнителен анализ на Cascading за Hadoop рутини?
Отговори (1)
Не е пълен отговор, но според мен достатъчно, за да започнете. Трябва да генерирате графично представяне на работния процес на MapReduce за вашата работа. Вижте тази страница за пример: http://www.cascading.org/multitool/. Графиката трябва да помогне при опитите да разберете къде е тясното място.
person
mohit6up
schedule
05.06.2013
