目前的大数据平台组件HIVE和HBASE,在进行修改,删除等数据操作的时候比较困难,请问有没有好的解决方法

参与14

3同行回答

rein07rein07系统架构师某证券
hive上对数据的修改和删除确实比较困难,但是hbase支持的比较好的。现在cloudera推出一款新的产品,kudu,也可以试一试。显示全部

hive上对数据的修改和删除确实比较困难,但是hbase支持的比较好的。现在cloudera推出一款新的产品,kudu,也可以试一试。

收起
证券 · 2017-06-22
浏览3881
sandcunsandcun信息分析/架构师某股份制商业银行
Hive的底层数据存储是直接建立自HDFS之上,适于追加操作,所以对于修改和删除的支持存在天然的缺陷,虽然后来Hive在语法上支持了这两种操作,但性能上不能和传统RDBMS相比,在生产系统中一般也是不推荐使用的,适用场景有限。HBase在持久化上的设计更为复杂些,通过RegionServer的设计...显示全部

Hive的底层数据存储是直接建立自HDFS之上,适于追加操作,所以对于修改和删除的支持存在天然的缺陷,虽然后来Hive在语法上支持了这两种操作,但性能上不能和传统RDBMS相比,在生产系统中一般也是不推荐使用的,适用场景有限。HBase在持久化上的设计更为复杂些,通过RegionServer的设计/文件的分裂合并等机制,较好的平衡了随机数据访问和底层HDFS文件存储之间的矛盾,所以在更多的场景下对数据的删除、修改能够较好的支持。但原生HBase又有缺少二级索引的问题,操作灵活性上不及RDBMS。
总之,这两者与RDBMS还是要区分场景再进行选择,并不是完全覆盖RDBMS的能力。

收起
银行 · 2017-06-22
浏览4321
bendshabendsha系统架构师上海爱数信息技术股份有限公司
HIVE操作数据比较困难是指效率比较低吗?还是HiveQL满足不了要求?经过配置,Hive能支持Update和Delete,语法上跟PL-SQL一致,性能还没测试。显示全部

HIVE操作数据比较困难是指效率比较低吗?还是HiveQL满足不了要求?经过配置,Hive能支持Update和Delete,语法上跟PL-SQL一致,性能还没测试。

收起
软件开发 · 2017-06-22
浏览4014
  • 请问需要哪方面的配置,多谢了!
    2017-06-22
  • bendsha  bendsha回复 zlc_wf
    http://fromwiz.com/share/s/3LD5RW3GeQcH2tEmh_3E1HbE3yRcNC1b3AZX2p2cqy0WBPfo 这是我的操作笔记,希望能帮到你,现在我们这边在结合自身业务做性能和可靠性测试,横向Hive,Spark,Impala,Kudu的对比,纵向Hive on MR,Hive on Tez,Hive on Spark。
    2017-06-22
  • 是的,性能上肯定是要低些的
    2017-06-22

提问者

zlc_wf
技术经理威海市商业银行

问题来自

  • 相关问题

    相关资料

    相关文章

    问题状态

  • 发布时间:2017-06-22
  • 关注会员:4 人
  • 问题浏览:7855
  • 最近回答:2017-06-22
  • X社区推广