Hadoop NFS не может запустить шлюз Hadoop NFS

Я пытаюсь установить шлюз NFS в кластере Hadoop. К сожалению, я не могу запустить шлюз nfs из-за следующей ошибки.

Я также попытался добавить дополнительную информацию об отладке, изменив файл log4j, включив в него информацию об отладке. файл Log4j, похоже, не влияет на вывод. Так что мне также нужно знать, как повысить уровень ведения журнала.

    ************************************************************/
14/05/22 10:59:43 INFO nfs3.Nfs3Base: registered UNIX signal handlers for [TERM, HUP, INT]
Exception in thread "main" java.lang.IllegalArgumentException: value already present: sshd
        at com.google.common.base.Preconditions.checkArgument(Preconditions.java:115)
        at com.google.common.collect.AbstractBiMap.putInBothMaps(AbstractBiMap.java:112)
       at com.google.common.collect.AbstractBiMap.put(AbstractBiMap.java:96)
        at com.google.common.collect.HashBiMap.put(HashBiMap.java:85)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.updateMapInternal(IdUserGroup.java:85)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.updateMaps(IdUserGroup.java:110)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.<init>(IdUserGroup.java:54)
        at org.apache.hadoop.hdfs.nfs.nfs3.RpcProgramNfs3.<init>(RpcProgramNfs3.java:172)
        at org.apache.hadoop.hdfs.nfs.nfs3.RpcProgramNfs3.<init>(RpcProgramNfs3.java:164)
        at org.apache.hadoop.hdfs.nfs.nfs3.Nfs3.<init>(Nfs3.java:41)
        at org.apache.hadoop.hdfs.nfs.nfs3.Nfs3.main(Nfs3.java:52)
14/05/22 10:59:45 INFO nfs3.Nfs3Base: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down Nfs3 at
************************************************************/

Я подозреваю, что это связано со следующей проблемой: https://issues.apache.org/jira/browse/HDFS-5587, однако из этой проблемы я не понимаю, какие действия мне нужно предпринять.


hadoop hdfs nfs
person Q Boiler    schedule 22.05.2014    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Это задокументировано в следующем заявлении с обходным путем ниже: https://issues.apache.org/jira/browse/HDFS-5587

В моем случае проблема заключалась в том, что sshd и некоторые другие пользователи существовали как в ldap, так и в локальном поле, но UID не совпадали.

Шлюз NFS не может запускаться с повторяющимся именем или идентификатором в хост-системе. Это связано с тем, что HDFS (кластер без Kerberos) использует имя как единственный способ идентифицировать пользователя или группу. Хост-система с дублированным именем пользователя / группы или идентификатором может работать нормально большую часть времени сама по себе. Однако, когда шлюз NFS обращается к HDFS, HDFS принимает только имя пользователя и группы. Следовательно, одно и то же имя означает одного и того же пользователя или одну и ту же группу. Чтобы найти повторяющиеся имена / идентификаторы, можно сделать: и в системах Linux, и в MacOS.

person Q Boiler    schedule 28.05.2014