Какой самый надежный способ найти общее время выполнения программы с помощью Graphx, лучше всего использовать сервер истории или в программе использовать переменную с System.currentTimeMillis() или что-то еще?
Как измерить время выполнения приложения Spark GraphX?
Ответы (1)
Измерение времени выполнения приложения Spark GraphX ничем не отличается от измерения производительности любого другого приложения Spark.
Я настоятельно рекомендую использовать веб-интерфейс, пока приложение Spark запущено и работает, а затем Spark History Server.
Вы также можете использовать SparkListener для создания чего-то похожего на веб-интерфейс (в конце концов, веб-интерфейс — это просто набор SparkListeners).
System.currentTimeMillis() тоже сработает, но зачем изобретать велосипед, если почти все (если не все?) уже доступно в Spark?
person
Jacek Laskowski
schedule
31.12.2016
