Подключение к HDP 2.0 (Hortonworks Hadoop) с помощью клиента пряжи

Я скачал и запустил HDP 2.0 в VirtualBox, а затем попытался подключиться с Java с помощью YarnClient.

    YarnClient client = YarnClient.createYarnClient();  
    client.init(new Configuration());
    client.start();
    client.createApplication();

Но столкнулся со следующей ошибкой:

1311 [IPC Client (1943692956) connection to /192.168.0.31:8050 from lordorient] DEBUG org.apache.hadoop.ipc.Client.run null – IPC Client (1943692956) connection to /192.168.0.31:8050 from lordorient: starting, having connections 1
1315 [IPC Client (1943692956) connection to /192.168.0.31:8050 from lordorient] DEBUG org.apache.hadoop.ipc.Client.close null – closing ipc connection to /192.168.0.31:8050: null
java.io.EOFException
at java.io.DataInputStream.readInt(DataInputStream.java:392)
at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:955)
at org.apache.hadoop.ipc.Client$Connection.run(Client.java:852)
1319 [IPC Client (1943692956) connection to /192.168.0.31:8050 from lordorient] DEBUG org.apache.hadoop.ipc.Client.close null – IPC Client (1943692956) connection to /192.168.0.31:8050 from lordorient: closed
1320 [IPC Client (1943692956) connection to /192.168.0.31:8050 from lordorient] DEBUG org.apache.hadoop.ipc.Client.run null – IPC Client (1943692956) connection to /192.168.0.31:8050 from lordorient: stopped, remaining connections 0
1391 [main] TRACE org.apache.hadoop.ipc.ProtobufRpcEngine.invoke null – 1: Exception <- [email protected]/192.168.0.31:8050: getClusterMetrics {java.io.IOException: Failed on local exception: java.io.EOFException; Host Details : local host is: "lordorient-VirtualBox/127.0.1.1"; destination host is: "192.168.0.31":8050; }

Любые идеи, что происходит не так?

Я использую библиотеки Hadoop версии 2.1.0-SNAPSHOT из центрального репо, и вот мой yarn-site.xml

<!--Sun Jun 16 11:08:58 2013 -->
<configuration>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>192.168.0.31:8141</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>192.168.0.31:8050</value>
</property>
<property>
    <name>yarn.nodemanager.address</name>
    <value>192.168.0.31:45454</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>192.168.0.31:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>192.168.0.31:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>192.168.0.31:8088</value>
</property>
<property>
    <name>yarn.log.server.url</name>
    <value>http://192.168.0.31:19888/jobhistory/logs</value>
</property>
</configuration>

Соединение достигает своей цели. Только что просмотрел журналы сервера, и, похоже, проблема с авторизацией:

2013-08-11 12:17:34,018 INFO  ipc.Server (Server.java:doRead(763)) - IPC Server listener on 8050: readAndProcess threw exception java.io.IOException: Unable to read authentication method from client 192.168.0.48. Count of bytes read: 0
java.io.IOException: Unable to read authentication method
    at org.apache.hadoop.ipc.Server$Connection.readAndProcess(Server.java:1341)
    at org.apache.hadoop.ipc.Server$Listener.doRead(Server.java:758)
    at org.apache.hadoop.ipc.Server$Listener$Reader.doRunLoop(Server.java:557)
    at org.apache.hadoop.ipc.Server$Listener$Reader.run(Server.java:532)

Но во всех документах гробовое молчание о том, как мне настроить всю эту безопасность. Кто-нибудь имеет практический опыт работы с продуктом Hortonworks?


person Genadii Ganebnyi    schedule 11.08.2013    source источник
comment
Похоже, в соединении отказано. Попробуйте сначала подключиться к netcat или telnet, чтобы убедиться в отсутствии проблем с брандмауэром или сетью.   -  person kichik    schedule 11.08.2013


Ответы (1)


Текущая версия виртуальной машины Hortonworks HDP 2.0 работает только с библиотеками, взятыми из самой виртуальной машины. Вот описание того, что необходимо сделать: http://fusionworks.md/connecting-to-yarn-on-hortonworks-hdp-2-0/

person Genadii Ganebnyi    schedule 18.08.2013