大数据应用平台与ODS、数据仓库、交换平台的位置

      2008年就完成了ODS及数据仓库的建立(七大主题),我刚进该银行的时候就负责了全行的报表工作,当初新建的报表平台是基于数据仓库和ODS结合的方式取数进行报表展现,说白了就是在同一台数据服务器上(不同用户,数据仓库的存在只为报表服务),但是自从负责这一块以来,一直接到业务人员的反应,数据不对,和源系统提取的业务数据统计对不上,最后发现数据仓库主题层面、或者是汇总层面的数据有问题,其根本原因是自数据仓库建立以来就没过任何的维护,最终才导致现在的现状,现在报表的实现基本都是从ODS贴源层完成报表的加工(形成了类似报表集市的概念),几乎脱离了数据仓库,现在又完成了交换平台的建立+ODS优化,数据仓库看似已经打算放弃了。

       现在随着大数据的热潮,我行又打算做大数据应用平台,我就想知道,大数据应用平台与ODS、数据仓库、交换平台是怎样的位置,那么报表又是什么样的角色,是依赖于大数据平台呢还是依赖于ODS、数据仓库。

参与22

3同行回答

amu0722amu0722CEO打毛党
首先明白一点,数据仓库包含ods,ods层只是数据仓库中的一层,不过这一层的数据完善颗粒度细,因此作为数据仓库的底层数据源。其次,数据仓库 支持的是企业内部销售 财务 客户等关乎企业利润的监控分析。报表就是这些分析后数据的查看方式。也是主要方式。再者 大数据平台侧重于企...显示全部

首先明白一点,数据仓库包含ods,ods层只是数据仓库中的一层,不过这一层的数据完善颗粒度细,因此作为数据仓库的底层数据源。

其次,数据仓库 支持的是企业内部销售 财务 客户等关乎企业利润的监控分析。报表就是这些分析后数据的查看方式。也是主要方式。

再者 大数据平台侧重于企业运营,虽然数据仓库也是为企业运营服务但侧重是效益,但大数据平台的优势在于 解决一些之前无法解决的问题更加关注于细节上的服务以及行业内的快速反馈,这就回归到本源,当初为何建设大数据平台,这个平台为哪方面服务,建议你先了解下贵行的平台都在为什么服务。两者不抵触也无法替代。

关于你说的交换平台,不造什么东东,不做评论。

收起
生活生产服务其它 · 2015-10-21
浏览2544
  • 谢谢您的回答,我心中大概也有了初步的认识。
    2015-10-22
  • 谢谢您的回答,我心中大概也有了初步的认识。
    2015-10-22
olfisherolfisher产品经理Intime
你说的大数据平台应该是属于应用层面的吧,ODS作为业务数据和DW之间的桥梁,一方面可以对业务数据进行简单的清洗,另一方面可以把计算量和负荷转移到ODS上,减轻业务数据库的压力,然后像你说的情况,如果不维护,什么都是白搭,还要需要监控机制,保证业务数据库、ODS、DW数据一致性是最...显示全部

你说的大数据平台应该是属于应用层面的吧,ODS作为业务数据和DW之间的桥梁,一方面可以对业务数据进行简单的清洗,另一方面可以把计算量和负荷转移到ODS上,减轻业务数据库的压力,然后像你说的情况,如果不维护,什么都是白搭,还要需要监控机制,保证业务数据库、ODS、DW数据一致性是最基本的。DW可以作为所有数据应用的数据源,包括你说的大数据平台

收起
零售/批发 · 2015-10-27
浏览2109
th728803572th728803572数据仓库工程师北京某软件公司
1.如果你们数据不超过TB级别,而且以后增加比较缓慢,完全可以使用传统的BI架构。数据源,ODS,DW。ETL贯穿在其中,报表从DW出。你们现在的问题是DW有历史遗留问题,然后就把它弱化了,从ODS出报表了。个人是不太建议这种做法的,基于OLAP模型的DW可以比较好的处理大量数据各种维度的聚...显示全部

1.如果你们数据不超过TB级别,而且以后增加比较缓慢,完全可以使用传统的BI架构。数据源,ODS,DW。ETL贯穿在其中,报表从DW出。你们现在的问题是DW有历史遗留问题,然后就把它弱化了,从ODS出报表了。个人是不太建议这种做法的,基于OLAP模型的DW可以比较好的处理大量数据各种维度的聚合分析,也有利于cube的建立。

2.如果数据超过TB级别了,而且以后增加比较快。建议还是使用hadoop分布式平台。把ODS的数据给弄到hive中,然后在hive中做处理和分析。最后把处理过的数据从hive给弄到oracle等数据库中,然后用报表工具再从这里出报表。

收起
互联网服务 · 2016-03-11
浏览2032

提问者

aduanqq
软件开发工程师成都农商银行
擅长领域: 大数据

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-10-20
  • 关注会员:5 人
  • 问题浏览:8339
  • 最近回答:2016-03-11
  • X社区推广