Изграждането на Spark в кошер MySQL metastore не се използва

Използвам Apache Spark 2.1.1 и съм поставил следния hive-site.xml в папка $SPARK_HOME/conf:

<?xml version="1.0"?>
<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://mysql_server:3306/hive_metastore?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>password</value>
  <description>password to use against metastore database</description>
</property>
<property>
  <name>hive.metastore.schema.verification</name>
  <value>false</value>
  <description>password to use against metastore database</description>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>${test.tmp.dir}/hadoop-tmp</value>
  <description>A base for other temporary directories.</description>
</property>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>hdfs://hadoop_namenode:9000/value_iq/hive_warehouse/</value>
  <description>Warehouse Location</description>
</property>
</configuration>

Когато стартирам thrift сървъра, схемата на metastore се създава в моята MySQL DB, но не се използва, вместо това се използва Derby.

Не можах да намеря никаква грешка в регистрационния файл на спестяващия сървър, единственото нещо, което привлича вниманието ми, е, че той се опитва да използва MySQL в началото (INFO MetaStoreDirectSql: Using direct SQL, underlying DB is MYSQL), но след това без грешка използва Derby вместо това (INFO MetaStoreDirectSql: Using direct SQL, underlying DB is DERBY). Това е регистрационният файл на thrift сървъра https://www.dropbox.com/s/rxfwgjm9bdccaju/spark-root-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-s-master.value-iq.com.out?dl=0

Нямам инсталиран кошер в системата си, просто се преструвам, че използвам вградения кошер на Apache Spark.

Използвам mysql-connector-java-5.1.23-bin.jar, който се намира в папка $SPARK_HOME/jars.