Я читаю В чем разница между Spark DataSet и RDD Разница между DataSet API и DataFrame http://spark.apache.org/docs/latest/sql-programming-guide.html#datasets-and-dataframes...

У нас есть вариант использования в Spark, когда мы хотим загружать исторические данные из нашей базы данных в Spark и продолжать добавлять новые потоковые данные в Spark, после чего мы можем проводить анализ всего актуального набора данных....

Не могли бы вы помочь мне понять, что происходит при инициализации Spark RDD ? Существует официальный пример здесь : val capitals = spark.read.parquet("capitals.parquet").select("name", "country") val luceneRDD = LuceneRDD(capitals) val...

У меня возникли проблемы с запуском приложения Spark с использованием как spark-submit, так и внутреннего REST API. Сценарий развертывания, который я хотел бы продемонстрировать, — это Spark, работающий как кластер на моем локальном ноутбуке. С...

У меня есть два искровых потока, в первом идут данные, связанные с продуктами: их цена поставщику, валюта, их описание, идентификатор поставщика. Эти данные обогащаются категорией, угадываемой по анализу описания и цене в долларах. Затем они...

Мой вопрос: правда ли, что при запуске приложений Apache Spark в мастере YARN с режимом развертывания в качестве клиента или кластера для ядер-исполнителей всегда должно быть установлено значение 1? Я запускаю приложение, обрабатывающее миллионы...