ambari的HADOOP集群,下SPARK2 HIVE HBASE等组件整合问题,类找不到?

安装了ambari的HADOOP集群,安装了SPARK2 HIVE HBASE等组件.现在需要这几个组件联合起来时候,发现在hive中建立了映射到HBASE的表之后, create table ganji_ranks (row string,num string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES
("hbase.columns.mapping" = ":key,info:num") TBLPROPERTIES ("hbase.table.name"="ganji_rankings");
在HIVE和SPARK及HBASE中表名都能查看见,但是在SPARK-SQL中DESC ganji_ranks 表的时候,提示类找不到:java.lang.ClassNotFoundException Class org.apache.hadoop.hive.hbase.HBaseSerDe not found. 手工把 hive-hbase-handler.jar把这个JAR包从HIVE的lib下面复制到HBASE的lib下面 依旧不行。 然后在执行spark-sql时候 --jars 添加这个包后,再执行,提示 找不到类 .java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/util/Bytes 。网上有说由于缺少guava-12.0.1.jar包造成的,但是因为我不可能每次都手工添加的方式,有无在配置文件中解决的方案。HDP的版本是2.6.30-235.

1回答

美国队长美国队长  研发工程师 , Alibaba
ouguanmude918lishappy等赞同了此回答
这个应该是版本的原因造成的,建议你到官网参照你是用的版本,然后根据错误提示guava版本看一下,版本号是否一致显示全部

这个应该是版本的原因造成的,建议你到官网参照你是用的版本,然后根据错误提示guava版本看一下,版本号是否一致

收起
 2019-07-30
浏览127

提问者

jillmeCIO, JOLLYTECH

问题状态

  • 发布时间:2019-07-27
  • 关注会员:2 人
  • 问题浏览:741
  • 最近回答:2019-07-30
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30