Несколько странный вопрос, но кто-нибудь знает, какой тип сортировки использует MapReduce в части сортировки в случайном порядке/сортировке? Я бы подумал о слиянии или вставке (в соответствии со всей парадигмой MapReduce), но я не уверен.
Метод перетасовки/сортировки MapReduce
Ответы (2)
Это быстрая сортировка, после чего отсортированные промежуточные результаты объединяются. Быстрая сортировка проверяет глубину рекурсии и сдается, если она слишком глубокая. В этом случае используется Heapsort.
Взгляните на класс Quicksort:
org.apache.hadoop.util.QuickSort
Вы можете изменить используемый алгоритм с помощью значения map.sort.class в файле hadoop-default.xml.
person
Thomas Jungblut
schedule
25.04.2011
Этот метод переключения сортировки является стандартной гибридной сортировкой AFAIK. Он называется IntroSort: en.wikipedia.org/wiki/Introsort.
- person Yash Sharma; 20.02.2014
Чтобы узнать больше об этом более подробно, не стесняйтесь читать об этом в сообщении: Map-Reduce:Shuffle and sort в моем блоге: Hadoop: некоторые Важное понимание
person
Abhishek Jain
schedule
28.11.2012
