互联网服务Hadoopsparkhive

请教spark on hive的安装问题

软件版本为:jdk 1.8Hadoop 2.8hive 2.1.1spark 1.6.3scala 2.12.2mysql 5.7.17两台主机,其中节点1为namenode&datanode,节点2为datanode,安装完Hadoop、hive、mysql以后,使用mr引擎,load外部表然后进行查询,查询过程正常完成。安装spark以后,使用run-example SparkPi命令测试...显示全部

软件版本为:
jdk 1.8
Hadoop 2.8
hive 2.1.1
spark 1.6.3
scala 2.12.2
mysql 5.7.17

两台主机,其中节点1为namenode&datanode,节点2为datanode,安装完Hadoop、hive、mysql以后,使用mr引擎,load外部表然后进行查询,查询过程正常完成。

安装spark以后,使用run-example SparkPi命令测试,可以计算出Pi的值。
将hive的默认引擎改为spark,执行select操作,报错,提示信息如下:
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

请问可能是哪里的问题导致的?多谢了!

收起
参与28

查看其它 4 个回答美国队长的回答

美国队长美国队长  研发工程师 , Alibaba

题目应该是hive on spark 另外你这个异常可能是hive跟spark的版本不一致的原因,建议你看一下你的hive源码中的pom.xml里面依赖的spark是什么版本的

互联网服务 · 2017-06-20
  • 您好,我使用的hive是apache-hive-2.1.1-bin.tar.gz,我同时又下载了apache-hive-2.1.1-src.tar.gz,在其中的pom.xml文件中搜索spark关键字,查看到<spark.version>1.6.0</spark.version>,这是不是说匹配的spark应该用1.6.0? 谢谢您对题目的纠正。
    2017-06-20
  • 是的
    2017-06-26

回答者

美国队长
研发工程师Alibaba
擅长领域: 大数据大数据平台数据库

美国队长 最近回答过的问题

回答状态

  • 发布时间:2017-06-20
  • 关注会员:5 人
  • 回答浏览:9411
  • X社区推广