Я новичок в искрах, и у меня есть проблема. Я обрабатываю RDD, созданный с помощью textFile(), который представляет собой файл csv. Для каждой строки я хочу вернуть несколько строк в новый RDD (одну, а не несколько). Это мой код:...

В приложении spark мы создаем два контекста spark: 1) Для чтения данных из файловой системы. 2) Для подключения и загрузки данных в Cassandra. В одном приложении мы можем запустить только один контекст искры искры, поэтому мы останавливаем...

У меня есть кластер узлов Cassandra с рабочим Spark на каждом компьютере узла. Для связи использую коннектор Datastax Spark-Cassasndra. Есть ли у коннектора Datastax оптимизация для чтения данных из узла Cassandra работником на той же машине или...

Я новичок в Apache Spark и хочу подключить искру к базе данных Cassandra. Искра версия: 2.2.0 Версия Кассандры: 2.1.14 Ошибка происходит в нижней строке (long count = javaFunctions(sc).cassandraTable("test", "table1").count();)...

Мы используем следующие зависимости для нашего проекта. val cassandraConnector = "com.datastax.spark" %% "spark-cassandra-connector" % "2.0.0" val sparkSql = "org.apache.spark" % "spark-sql_2.11" % "2.2.0" val phantomDsl = "com.outworkers" %...

Мне нужно сохранить потоковые данные искры в Cassandra. Поток исходит от Kafka, а сообщение Kafka имеет формат JSON, как показано ниже. { "status": "NOT_AVAILABLE", "itemid": "550672332", "qty": 0, "lmts": "2017-11-18T10:39:21-08:00",...

В работе Spark я читаю из Kafka и после некоторых вычислений сохраняю данные в Cassandra. Исходный код import static com.datastax.spark.connector.japi.CassandraJavaUtil.javaFunctions; import static...

У меня есть большой стол Cassandra. Я хочу загрузить только 50 строк из Cassandra. Следующий код val ds = sparkSession.read .format("org.apache.spark.sql.cassandra") .options(Map("table" -> s"$Aggregates", "keyspace" ->...

Я пытаюсь добавить значения в столбец с заданным типом через JAVA API. Кажется, что соединитель игнорирует тип CollectionBehavior, который я устанавливаю, и всегда переопределяет предыдущую коллекцию. Даже когда я использую CollectionRemove,...

Может ли кто-нибудь объяснить внутреннюю работу искры при чтении данных из одной таблицы и записи их в другую в кассандре. Вот мой вариант использования: Я загружаю данные, поступающие с платформы IOT, в cassandra через тему kafka. У меня есть...

У меня возникли проблемы с пониманием того, как использовать настройки для параметров пула и определить, работают ли они из этого источника: https://docs.datastax.com/en/developer/java-driver/3.4/manual/pooling/ Будет ли SparkSession val...

Как установить следующие свойства для spark-cassandra-connector версии 2.0.7 : cassandra.pool.remote.coreConnectionsPerHost cassandra.allowRemoteDcsForLocalConsistencyLevel По сути, я хочу настроить его так, чтобы к моему удаленному...

Я новичок в использовании spark/scala здесь, и у меня проблемы с рефакторингом некоторого моего кода здесь. Я использую Scala 2.11, используя pyspark и настройку spark/yarn. Следующее работает, но мне бы хотелось его очистить и получить от этого...