2008年就完成了ODS及数据仓库的建立(七大主题),我刚进该银行的时候就负责了全行的报表工作,当初新建的报表平台是基于数据仓库和ODS结合的方式取数进行报表展现,说白了就是在同一台数据服务器上(不同用户,数据仓库的存在只为报表服务),但是自从负责这一块以来,一直接到业务人员的反应,数据不对,和源系统提取的业务数据统计对不上,最后发现数据仓库主题层面、或者是汇总层面的数据有问题,其根本原因是自数据仓库建立以来就没过任何的维护,最终才导致现在的现状,现在报表的实现基本都是从ODS贴源层完成报表的加工(形成了类似报表集市的概念),几乎脱离了数据仓库,现在又完成了交换平台的建立+ODS优化,数据仓库看似已经打算放弃了。
现在随着大数据的热潮,我行又打算做大数据应用平台,我就想知道,大数据应用平台与ODS、数据仓库、交换平台是怎样的位置,那么报表又是什么样的角色,是依赖于大数据平台呢还是依赖于ODS、数据仓库。
首先明白一点,数据仓库包含ods,ods层只是数据仓库中的一层,不过这一层的数据完善颗粒度细,因此作为数据仓库的底层数据源。
其次,数据仓库 支持的是企业内部销售 财务 客户等关乎企业利润的监控分析。报表就是这些分析后数据的查看方式。也是主要方式。
再者 大数据平台侧重于企业运营,虽然数据仓库也是为企业运营服务但侧重是效益,但大数据平台的优势在于 解决一些之前无法解决的问题更加关注于细节上的服务以及行业内的快速反馈,这就回归到本源,当初为何建设大数据平台,这个平台为哪方面服务,建议你先了解下贵行的平台都在为什么服务。两者不抵触也无法替代。
关于你说的交换平台,不造什么东东,不做评论。
收起你说的大数据平台应该是属于应用层面的吧,ODS作为业务数据和DW之间的桥梁,一方面可以对业务数据进行简单的清洗,另一方面可以把计算量和负荷转移到ODS上,减轻业务数据库的压力,然后像你说的情况,如果不维护,什么都是白搭,还要需要监控机制,保证业务数据库、ODS、DW数据一致性是最基本的。DW可以作为所有数据应用的数据源,包括你说的大数据平台