Spark не может найти драйвер JDBC

У этого человека была аналогичная проблема: http://apache-spark-user-list.1001560.n3.nabble.com/How-to-use-DataFrame-with-MySQL-td22178.html

Вы обновили драйверы разъема до последней версии? Также вы указали класс драйвера при вызове load ()?

Map<String, String> options = new HashMap<String, String>();
options.put("url", "jdbc:mysql://localhost:3306/video_rcmd?user=root&password=123456");
options.put("dbtable", "video");
options.put("driver", "com.mysql.cj.jdbc.Driver"); //here
DataFrame jdbcDF = sqlContext.load("jdbc", options); 

В spark / conf / spark-defaults.conf вы также можете установить spark.driver.extraClassPath и spark.executor.extraClassPath на путь к вашему MySql-драйверу .jar.

Эти параметры четко упомянуты в документации Spark: --driver-class-path postgresql-9.4.1207.jar --jars postgresql-9.4.1207.jar

Ошибка, которую я делал, заключалась в том, что я упоминал эти параметры после jar-файла моего приложения.

Однако правильный способ - указать эти параметры сразу после spark-submit:

spark-submit --driver-class-path /somepath/project/mysql-connector-java-5.1.30-bin.jar --jars /somepath/project/mysql-connector-java-5.1.30-bin.jar --class com.package.MyClass target/scala-2.11/project_2.11-1.0.jar

И драйвер искры, и исполнитель нуждаются в драйвере mysql в пути к классу, поэтому укажите

spark.driver.extraClassPath = <path>/mysql-connector-java-5.1.36.jar
spark.executor.extraClassPath = <path>/mysql-connector-java-5.1.36.jar

В Spark 2.2.0 проблема была исправлена ​​для меня путем добавления дополнительной информации о пути к классу для сеанса SparkSession в скрипте python:

    spark = SparkSession \
        .builder \
        .appName("Python Spark SQL basic example") \
        .config("spark.driver.extraClassPath", "/path/to/jdbc/driver/postgresql-42.1.4.jar") \
        .getOrCreate()

См. Официальную документацию https://spark.apache.org/docs/latest/configuration.html < / а>

В моем случае Spark запускается не из команды cli, а из структуры django https://www.djangoproject.com/

spark.driver.extraClassPath не работает в клиентском режиме:

Примечание. В клиентском режиме эту конфигурацию нельзя настраивать через SparkConf непосредственно в вашем приложении, поскольку в этот момент драйвер JVM уже запущен. Вместо этого установите это с помощью параметра командной строки --driver-class-path или в файле свойств по умолчанию.

Переменная env SPARK_CLASSPATH устарела в Spark 1.0+.

Сначала вы должны скопировать jar-файлы драйвера jdbc в каждый исполнитель по одному и тому же пути локальной файловой системы, а затем использовать следующие параметры в своем spark-submit:

--driver-class-path "driver_local_file_system_jdbc_driver1.jar:driver_local_file_system_jdbc_driver2.jar"
--class "spark.executor.extraClassPath=executors_local_file_system_jdbc_driver1.jar:executors_local_file_system_jdbc_driver2.jar"

Например, в случае TeraData вам понадобятся как terajdbc4.jar, так и tdgssconfig.jar.

В качестве альтернативы измените compute_classpath.sh на всех рабочих узлах, в документации Spark говорится:

Класс драйвера JDBC должен быть видим для первоначального загрузчика классов в клиентском сеансе и во всех исполнителях. Это связано с тем, что класс DriverManager Java выполняет проверку безопасности, в результате которой он игнорирует все драйверы, не видимые исходному загрузчику классов, когда он открывает соединение. Один из удобных способов сделать это - изменить compute_classpath.sh на всех рабочих узлах, чтобы включить файлы JAR вашего драйвера.

Для решения вашей проблемы существует простой Java-трюк. Вы должны указать Class.forName() экземпляр. Например:

 val customers: RDD[(Int, String)] = new JdbcRDD(sc, () => {
       Class.forName("com.mysql.jdbc.Driver")
       DriverManager.getConnection(jdbcUrl)
      },
      "SELECT id, name from customer WHERE ? < id and id <= ?" ,
      0, range, partitions, r => (r.getInt(1), r.getString(2)))

Ознакомьтесь с документами.

Простой и легкий способ - скопировать "mysql-connector-java-5.1.47.jar" в каталог "spark-2.4.3 \ jars \".

У меня была такая же проблема с запуском заданий в кластере Mesos в кластерном режиме.

Чтобы использовать драйвер JDBC, необходимо добавить зависимость к системному пути к классам, а не к пути к классам фреймворка. Я только нашел способ сделать это, добавив зависимость в файл spark-defaults.conf в каждом экземпляре кластера.

Добавляемые свойства: spark.driver.extraClassPath и spark.executor.extraClassPath, а путь должен быть в локальной файловой системе.

Я добавляю файл jar в SPARK_CLASSPATH в spark-env.sh, он работает.

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/local/spark-1.6.3-bin-hadoop2.6/lib/mysql-connector-java-5.1.40-bin.jar

Я столкнулся с той же проблемой, когда пытался запустить команду spark-shell со своего компьютера с Windows. Путь, который вы передаете для местоположения драйвера, а также для используемой банки, должен быть в двойных кавычках, иначе он будет неправильно истолкован, и вы не получите точный результат, который вам нужен.

вам также придется установить драйвер JDBC для SQL-сервера по ссылке: Драйвер JDBC

Я использовал приведенную ниже команду, чтобы это нормально работало для меня на моем компьютере с Windows:

spark-shell --driver-class-path "C: \ Program Files \ Microsoft JDBC Driver 6.0 для SQL Server \ sqljdbc_6.0 \ enu \ jre8 \ sqljdbc42.jar" --jars "C: \ Program Files \ Драйвер Microsoft JDBC 6.0 для SQL Server \ sqljdbc_6.0 \ enu \ jre8 \ sqljdbc42.jar "