互联网服务Hadoopsparkhive

请教spark on hive的安装问题

软件版本为:jdk 1.8Hadoop 2.8hive 2.1.1spark 1.6.3scala 2.12.2mysql 5.7.17两台主机,其中节点1为namenode&datanode,节点2为datanode,安装完Hadoop、hive、mysql以后,使用mr引擎,load外部表然后进行查询,查询过程正常完成。安装spark以后,使用run-example SparkPi命令测试...显示全部

软件版本为:
jdk 1.8
Hadoop 2.8
hive 2.1.1
spark 1.6.3
scala 2.12.2
mysql 5.7.17

两台主机,其中节点1为namenode&datanode,节点2为datanode,安装完Hadoop、hive、mysql以后,使用mr引擎,load外部表然后进行查询,查询过程正常完成。

安装spark以后,使用run-example SparkPi命令测试,可以计算出Pi的值。
将hive的默认引擎改为spark,执行select操作,报错,提示信息如下:
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

请问可能是哪里的问题导致的?多谢了!

收起
参与28

查看其它 4 个回答杨博的回答

杨博杨博  IT顾问 , 某科技公司

从网上搜索到,说是因为内存设置太小。你看看这两个参数:yarn.scheduler.maximum-allocation-mb'或'yarn.nodemanager.resource.memory-mb'. 调整一下内存大小试试。

互联网服务 · 2017-06-20

回答者

杨博
杨博0324
IT顾问某科技公司
擅长领域: 数据库服务器人工智能

杨博 最近回答过的问题

回答状态

  • 发布时间:2017-06-20
  • 关注会员:5 人
  • 回答浏览:9149
  • X社区推广