互联网服务Hadoopsparkhive

请教spark on hive的安装问题

软件版本为:jdk 1.8Hadoop 2.8hive 2.1.1spark 1.6.3scala 2.12.2mysql 5.7.17两台主机,其中节点1为namenode&datanode,节点2为datanode,安装完Hadoop、hive、mysql以后,使用mr引擎,load外部表然后进行查询,查询过程正常完成。安装spark以后,使用run-example SparkPi命令测试...显示全部

软件版本为:
jdk 1.8
Hadoop 2.8
hive 2.1.1
spark 1.6.3
scala 2.12.2
mysql 5.7.17

两台主机,其中节点1为namenode&datanode,节点2为datanode,安装完Hadoop、hive、mysql以后,使用mr引擎,load外部表然后进行查询,查询过程正常完成。

安装spark以后,使用run-example SparkPi命令测试,可以计算出Pi的值。
将hive的默认引擎改为spark,执行select操作,报错,提示信息如下:
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

请问可能是哪里的问题导致的?多谢了!

收起
参与28

查看其它 4 个回答bendsha的回答

bendshabendsha系统架构师上海爱数信息技术股份有限公司

你好,要使用Hive on Spark,所用的Spark版本必须不包含Hive的相关jar包,hive on spark 的官网上说“Note that you must have a version of Spark which does not include the Hive jars”。在spark官网下载的编译的Spark都是有集成Hive的,因此需要自己下载源码来编译,并且编译的时候不指定Hive。

软件开发 · 2017-06-25

回答者

bendsha
系统架构师上海爱数信息技术股份有限公司
擅长领域: 大数据大数据平台数据库

bendsha 最近回答过的问题

回答状态

  • 发布时间:2017-06-25
  • 关注会员:5 人
  • 回答浏览:9251
  • X社区推广