银行大数据

本方案中采用HDFS与Hbase持久化,分别适用哪些场景?

从Morphling中读取的结构化数据会写入HDFS和Hbase,这两种持久化方式特点不同,面对不同的业务场景如何权衡?

参与6

2同行回答

杨博杨博课题专家组IT顾问某科技公司
HDFS是HBase后端的存储,HBase存些KV的需求是可以的,特别是数据量大,而且请求速度要求不高的情况下。显示全部

HDFS是HBase后端的存储,HBase存些KV的需求是可以的,特别是数据量大,而且请求速度要求不高的情况下。

收起
互联网服务 · 2017-06-22
浏览4714
rein07rein07系统架构师某证券
hbase和hdfs的较大区别:1、hbase支持更新,而hdfs文件不支持2、hbase对于特定的查询场景,性能极高,而hdfs需要分目录存储,以便使用hive或impala的分区特性我们现在对于两者的权衡主要在于第一点,原因是我们现在对于业务库的采集是通过数据库日志获取的实时数据,如果该表存着更新...显示全部

hbase和hdfs的较大区别:
1、hbase支持更新,而hdfs文件不支持
2、hbase对于特定的查询场景,性能极高,而hdfs需要分目录存储,以便使用hive或impala的分区特性
我们现在对于两者的权衡主要在于第一点,原因是我们现在对于业务库的采集是通过数据库日志获取的实时数据,如果该表存着更新的可能,我们会优先考虑将数据存在hbase中,如果数据绝对不会更新,我们会采用分目录的方式存储数据。使用hdfs文件存储的好处是,建立了hive或impala表后,多维度的查询性能要由于高于hbase的查询。两者的使用需要根据数据情况进行取舍。现在新产生了一种存储,kudu,是一种支持更新的表存储方式,可以某些程度上统一hdfs和hbase两种存储,但是还需要进一步测试。

收起
证券 · 2017-06-22
浏览4564

提问者

sandcun
信息分析/架构师某股份制商业银行
擅长领域: 大数据数据库服务器

问题来自

  • 相关问题

    相关资料

    相关文章

    问题状态

  • 发布时间:2017-06-21
  • 关注会员:4 人
  • 问题浏览:8320
  • 最近回答:2017-06-22
  • X社区推广