Фаза редуктора вообще не запускается. Это всегда «редуктор = 0%»

Я ждал целую вечность, чтобы увидеть начало фазы редуктора, но она не начинается. Я пробовал форматировать namenode, но все та же проблема. Я сталкиваюсь с этой проблемой везде, где должен работать редуктор. Может ли кто-нибудь помочь мне в этом отношении.

hive> LOAD DATA LOCAL INPATH '/home/training/Desktop/student_performs_CSV.csv' OVERWRITE INTO TABLE stud_marks;
Copying data from file:/home/training/Desktop/student_performs_CSV.csv
Copying file: file:/home/training/Desktop/student_performs_CSV.csv
Loading data to table default.stud_marks
Deleted hdfs://localhost:9000/user/hive/warehouse/stud_marks
OK
Time taken: 1.633 seconds
hive> select count(*) from stud_marks;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_201211141618_0002, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201211141618_0002
Kill Command = /home/training/Installations/hadoop-1.0.3/libexec/../bin/hadoop job  -Dmapred.job.tracker=localhost:9001 -kill job_201211141618_0002
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2012-11-14 16:48:29,822 Stage-1 map = 0%,  reduce = 0%
2012-11-14 16:48:42,270 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:43,349 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:44,429 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:45,507 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:46,580 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec

..
.
.
.
.
.
.
2012-11-14 16:56:44,394 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 54.9 sec
2012-11-14 16:56:45,417 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 54.9 sec
2012-11-14 16:56:46,449 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 54.9 sec

hadoop hive mapreduce
person ghosts    schedule 14.11.2012    source источник
comment
Логи говорят что-нибудь полезное?   -  person Chris Gerken    schedule 14.11.2012
comment
Я видел нечто подобное, когда редюсеры не могли получить промежуточные данные от мапперов. Это произошло, когда редукторы не смогли связаться с маппером из-за некоторых сетевых настроек. Убедитесь, что все узлы могут пинговать друг друга.   -  person Praveen Sripati    schedule 14.11.2012
comment
я также попытался установить для набора hive.exec.reducers.max значение 9999, но ничего полезного не произошло. Наконец, я попытался сопоставить «inet addr», который я получил из «ifconfig», с этим, и теперь это сработало. Спасибо, что дали мне подсказку.   -  person ghosts    schedule 14.11.2012
comment
Можете ли вы попробовать другой запрос, скажем, запрос на выборку с предложением where и опубликовать то, что вы получите?   -  person Mark Grover    schedule 15.11.2012
comment
@MarkGrover Как я уже упоминал в своем предыдущем комментарии, проблема теперь решена. Я добился этого, изменив ip в «/etc/hosts», чтобы он соответствовал параметру «ifconfig» «inet addr».   -  person ghosts    schedule 16.11.2012
comment
Привет @ghosts, не могли бы вы уточнить, что вам нужно было изменить в /etc/hosts? У меня такая же проблема с ульем на локальной машине, и мой mac-адрес, 127.0.0.1 и ::1, уже есть /etc/hosts. Спасибо!   -  person Mad Echet    schedule 28.02.2013
comment
@MadEchet: Ваша проблема тоже решена?   -  person ghosts    schedule 11.06.2016

Ответы (2)


arrow_upward
0
arrow_downward

Вы просто пытаетесь ЗАГРУЗИТЬ данные с локальной машины в таблицу HIVE. В HIVE эта операция не инициирует фазу сокращения, загрузка данных происходит на фазе сопоставления, и на фазе сокращения не будет выполняться никаких операций.

Чтобы найти некоторые задачи сокращения, попробуйте другие запросы HIVE с такими операциями, как «группировать по».

person barath    schedule 16.08.2014

arrow_upward
0
arrow_downward

Проблема была решена путем изменения IP-адреса в «/etc/hosts», чтобы он соответствовал

ifconfig > инет адрес

параметр

person ghosts    schedule 10.06.2016