PIVOTAL GPDB — Команда протокола gphdfs для внешней таблицы завершилась с ошибкой. ш: java: команда не найдена

У нас есть небольшой массив базы данных Greenplum.

При попытке прочитать в ней внешнюю таблицу. Получение ошибки

proddb=# select count(*) from ext_table;
ERROR:  external table gphdfs protocol command ended with error. sh: java: command not found  (seg0 slice1 sdw:
40000 pid=8675)
DETAIL:  
Command: 'gphdfs://path/to/hdfs External table revenuereport_stg0, file gphdfs://Path/to/hdfs

Мы пытались:

Проверено окружение Java на главном хосте greenplum.

Также проверил , Настройка - параметры для GPDB

[gpadmin@admin ~]$ gpconfig -c gp_hadoop_home -v "'/usr/lib/gphd'" [gpadmin@admin ~]$ gpconfig -c gp_hadoop_target_version -v "'gphd-2.0'"

Но он терпит неудачу с этой ошибкой

[gpadmin@mdw ~]$ gpconfig -c gp_hadoop_home -v "'/usr/lib/gphd'"
20170123:02:02:04:017762 gpconfig:mdw:gpadmin-[ERROR]:-failed updating the postgresql.conf files on host: sdw
20170123:02:02:04:017762 gpconfig:mdw:gpadmin-[ERROR]:-failed updating the postgresql.conf files on host: mdw
20170123:02:02:09:017762 gpconfig:mdw:gpadmin-[ERROR]:-finished with errors

Поэтому тест на доступ к HDFS с хоста greenplum не работает.

Checked if  HDFS is accessible from any of the segment servers

[gpadmin@sdw1 ~]$hdfs dfs -ls hdfs://hdm2:8020/

Любая помощь в этом была бы очень признательна!


java hadoop greenplum
person NEO    schedule 23.01.2017    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Для меня это похоже на проблему с путем. Пожалуйста, установите правильный JAVA_HOME в файле hadoop-env.sh

Кроме того, пожалуйста, ознакомьтесь со следующими статьями для лучшего понимания настройки gphdfs с помощью gpdb.

https://discuss.pivotal.io/hc/en-us/articles/221492507-One-time-HDFS-Protocol-Installation-for-GPHDFS-доступ-к-HDP-2-x-кластеру

https://discuss.pivotal.io/hc/en-us/articles/203083906-Understanding-GPHDFS-Configurations

https://discuss.pivotal.io/hc/en-us/articles/221492507-One-time-HDFS-Protocol-Installation-for-GPHDFS-доступ-к-HDP-2-x-кластеру

Спасибо, Пратиш Наир.

person pratheesh_nair    schedule 23.01.2017
comment
После установки Java_home . Все еще получаю ту же ошибку. - person NEO; 25.01.2017

arrow_upward
1
arrow_downward 

export JAVA_HOME=/usr/local/jdk18
export HADOOP_HOME=/opt/apps/hadoop
export GP_JAVA_OPT='-Xmx1000m -XX:+DisplayVMOutputToStderr'
export PATH=$JAVA_HOME/bin:$PATH
export KRB5CCNAME=$GP_SEG_DATADIR/gpdb-gphdfs.krb5cc
JAVA=$JAVA_HOME/bin/java

java_home 和 hadoop_home 要给具体数值，置于最前面，写成从环境变量获取JAVA_HOME=$JAVA_HOME，GP处理时获取会为空值。。。

person lllong33    schedule 20.04.2021