Я использую Apache Spark 2.1.1 и поместил следующий файл hive-site.xml в папку $SPARK_HOME/conf
:
<?xml version="1.0"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://mysql_server:3306/hive_metastore?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>${test.tmp.dir}/hadoop-tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>hdfs://hadoop_namenode:9000/value_iq/hive_warehouse/</value>
<description>Warehouse Location</description>
</property>
</configuration>
Когда я запускаю комиссионный сервер, схема хранилища метаданных создается в моей базе данных MySQL, но не используется, вместо этого используется Derby.
Не удалось найти никакой ошибки в файле журнала сберегательного сервера, единственное, что привлекает мое внимание, это то, что он сначала пытается использовать MySQL (INFO MetaStoreDirectSql: Using direct SQL, underlying DB is MYSQL
), но затем без каких-либо ошибок вместо этого использует Derby (INFO MetaStoreDirectSql: Using direct SQL, underlying DB is DERBY
). Это журнал сберегательного сервера https://www.dropbox.com/s/rxfwgjm9bdccaju/spark-root-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-s-master.value-iq.com.out?dl=0
В моей системе не установлен куст, я просто делаю вид, что использую встроенный Hive Apache Spark.
Я использую mysql-connector-java-5.1.23-bin.jar
, который находится в папке $SPARK_HOME/jars
.
$SPARK_HOME/conf/hive-site.xml
и$SPARK_HOME/conf/spark-defaults.conf
? Помните, что у меня не установлен Hive, я использую Spark, встроенный в Hive. - person José   schedule 29.07.2017