软件版本为:
jdk 1.8
Hadoop 2.8
hive 2.1.1
spark 1.6.3
scala 2.12.2
mysql 5.7.17
两台主机,其中节点1为namenode&datanode,节点2为datanode,安装完Hadoop、hive、mysql以后,使用mr引擎,load外部表然后进行查询,查询过程正常完成。
安装spark以后,使用run-example SparkPi命令测试,可以计算出Pi的值。
将hive的默认引擎改为spark,执行select操作,报错,提示信息如下:
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
请问可能是哪里的问题导致的?多谢了!
收起