ошибка: значение cassandraTable не является членом org.apache.spark.SparkContext

Я хочу получить доступ к таблице Cassandra в Spark. Ниже приведена версия, которую я использую

  • искра: искра-1.4.1-бин-hadoop2.6
  • кассандра: апач-кассандра-2.2.3
  • коннектор искры кассандры: spark-cassandra-connector-java_2.10-1.5.0-M2.jar

Ниже приведен сценарий:

sc.stop

import com.datastax.spark.connector._, org.apache.spark.SparkContext, org.apache.spark.SparkContext._, org.apache.spark.SparkConf
val conf = new SparkConf(true).set("spark.cassandra.connection.host", "localhost")
val sc = new SparkContext(conf)
val test_spark_rdd = sc.cassandraTable("test1", "words")

когда я запускаю последний оператор, я получаю сообщение об ошибке

:32: ошибка: значение cassandraTable не является членом org.apache.spark.SparkContext val test_spark_rdd = sc.cassandraTable("test1", "words")

советы по устранению ошибки будут полезны.

Спасибо


cassandra apache-spark connector
person Rengan    schedule 06.11.2015    source источник
comment
Для начала версия соединителя должна совпадать с версией Spark, поэтому для Spark 1.4 следует использовать соединитель 1.4.   -  person zero323    schedule 06.11.2015
comment
я пробовал с версией spark-cassandra-connector-java_2.10-1.4.0.jar. Все та же ошибка   -  person Rengan    schedule 06.11.2015
comment
Вы уверены, что оператор импорта не генерирует исключение? Если нет, то как вы запускаете оболочку? --пакеты?   -  person RussS    schedule 09.11.2015
comment
я использую команду ниже для запуска оболочки ./bin/spark-shell --jars /opt/spark-1.4.0-bin-hadoop2.6/lib/spark-cassandra-connector_2.10-1.4.0.jar   -  person Rengan    schedule 10.11.2015

Ответы (1)


arrow_upward
2
arrow_downward

На самом деле в оболочке вам нужно импортировать соответствующие пакеты. Ничего дополнительно делать не нужно.

например scala> импортировать com.datastax.spark.connector._;

person Manoj Danane    schedule 14.08.2017