大数据平台与传统数仓如何结合才能更贴合大数据应用?涉及系统定位,数据层次划分,数据标准的统一等。

传统的数据仓库是结构化数据处理、批量数据ETL、离线计算、报表查询、OLAP分析;大数据在分布式架构,数据存储,非结构化数据和实时数据处理等方面占有优势。
大数据时代下数据平台的建设,如何取长补短,充分发挥各自的优势。

2回答

sean.wysean.wy  技术总监 , 平安科技
冯连进田华yi1982523等赞同了此回答
大数据平台的概念应该包括数据仓库,也就是说数据仓库应该做为企业大数据平台的一部分,而不是互斥的关系。而Gartner提出的LDW(Logical Data Warehouse)也是大数据平台概念的一个延伸。这里说的大数据平台更像是一个狭义的概念,特指Hadoop。Hadoop和传统数仓的定位是不同的: Ha...显示全部

大数据平台的概念应该包括数据仓库,也就是说数据仓库应该做为企业大数据平台的一部分,而不是互斥的关系。而Gartner提出的LDW(Logical Data Warehouse)也是大数据平台概念的一个延伸。这里说的大数据平台更像是一个狭义的概念,特指Hadoop。
Hadoop和传统数仓的定位是不同的:

  1. Hadoop适合对半结构化和无结构化数据进行分析,而传统数仓适合对结构化数据进行分析;
  2. 传统数仓中存放的数据质量和密度更高,而Hadoop存放的数据相当于是原始数据,需要再加工;
  3. 传统数仓中的数据更加标准化,更容易展现,很多公司都是将Hadoop中加工过的数据再导入到RDBMS中进行展示和即时查询;
收起
 2017-06-22
浏览672
rein07rein07  系统架构师 , 某证券
时东南赞同了此回答
传统数仓有自身的优势,一般商用软件为主,简单,使用方便,但是数据量大了以后处理可能会越来越慢。具体的选择还是要根据实际应用场景,数据量和计算复杂度应该算是个衡量的标准。...显示全部

传统数仓有自身的优势,一般商用软件为主,简单,使用方便,但是数据量大了以后处理可能会越来越慢。具体的选择还是要根据实际应用场景,数据量和计算复杂度应该算是个衡量的标准。

收起
 2017-06-22
浏览646

提问者

yogman00软件开发工程师, ccvc

问题状态

  • 发布时间:2017-06-21
  • 关注会员:4 人
  • 问题浏览:3174
  • 最近回答:2017-06-22
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30