Потоковое распространение H2O Spark 2.1

Я периодически получаю ошибку распределения при запуске образца модели IRIS в газированной воде.

Газированная вода: 2.1 Spark Streaming kafka — 0.10.0.0 Запуск локально с использованием spark submit — Только мастер

DistributedException from xxx:54321, caused by java.lang.NullPointerException
            at water.MRTask.getResult(MRTask.java:478)
            at water.MRTask.getResult(MRTask.java:486)
            at water.MRTask.doAll(MRTask.java:390)
            at water.MRTask.doAll(MRTask.java:396)
            at hex.Model.predictScoreImpl(Model.java:1103)
            at hex.Model.score(Model.java:964)
            at hex.Model.score(Model.java:932)
    ....
    Caused by: java.lang.NullPointerException
        at water.fvec.Vec.chunkForChunkIdx(Vec.java:1014)
        at water.fvec.CategoricalWrappedVec.chunkForChunkIdx(CategoricalWrappedVec.java:49)
        at water.MRTask.compute2(MRTask.java:618)
        at water.MRTask.compute2(MRTask.java:591)
        at water.MRTask.compute2(MRTask.java:591)
        at water.H2O$H2OCountedCompleter.compute1(H2O.java:1223)
        at hex.Model$BigScore$Icer.compute1(Model$BigScore$Icer.java)
        at water.H2O$H2OCountedCompleter.compute(H2O.java:1219)
        at jsr166y.CountedCompleter.exec(CountedCompleter.java:468)
        at jsr166y.ForkJoinTask.doExec(ForkJoinTask.java:263)
        at jsr166y.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:974)
        at jsr166y.ForkJoinPool.runWorker(ForkJoinPool.java:1477)
        at jsr166y.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:104)

spark-streaming h2o sparkling-water
person Lalit Agarwal    schedule 30.03.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Итак, проблема в том, что модель H2O не видит данные и вызывает NPE. Основные причины могут заключаться в том, что кадр данных h2o удаляется либо во время прогнозирования, либо непосредственно перед вызовом прогнозирования.

Нам интересно узнать, как вы обрабатываете мини-пакетные данные, то есть как мини-пакет преобразуется в фрейм данных h2o.

Это также поможет, если вы объясните, «как модель h2o вызывается для прогнозирования».

person AvkashChauhan    schedule 31.03.2017
comment
Я не уверен, что именно не так с моим кодом, но когда я выполнил ту же часть в кластере, а не локально, он работал нормально. Я думаю, что проблема была в основном в моих настройках локальной сети. Извините за поздний ответ. - person Lalit Agarwal; 04.04.2017