数据仓库建设的一点疑问

因为我从没有实施过数据仓库的建设,所以一直对数据仓库的建设原理不是很了解,但是自己自学一段时间以后感觉有那么点头绪了。
不过我有个疑问:
一家企业,我为他们做数据仓库建设。首先 他们是有自己的生产数据库系统的,以及其他系统。我帮他们在一台新服务器上建立一个数据仓库。就是把企业中的其他数据源的数据全部录入到数据仓库里。我第一次实施etl过程的时候,的确会把他们所有数据库里的数据录入数据库,但是过了一个生产周期,比如一天,一月,或者一个季度,他们生产数据库里的数据又有了新数据,这样的话我又得重新执行etl过程,再把所有数据库的数据录入到数据仓库。其实这是可行的,但是有问题的,因为只需要录入更新后的数据,而不是再次的全库刷新。而我找不到一个很好的办法来实施类似刷新的功能。
因为刷新的标志是不一样的,有些可能是根据时间戳来刷新的,但有些又不是。很麻烦,纠结中。有人能指点下么?
参与9

9 同行回答

cognoszhang cognoszhang 固定收益智能研究组临时负责人、大数据研究员 天弘基金管理有限公司
lz问这个问题说明对数据仓库的基础都没搞懂。DW本身是数据库快照的集合,是含有历史的,这是MIS等系统不提供的功能,是要做时间拉链的显示全部
lz问这个问题说明对数据仓库的基础都没搞懂。DW本身是数据库快照的集合,是含有历史的,这是MIS等系统不提供的功能,是要做时间拉链的 收起
基金 · 2011-03-04
浏览706

提问者

luxiao1223
软件开发工程师 aia
擅长领域: 大数据商业智能
评论66

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2010-10-18
  • 关注会员:0 人
  • 问题浏览:4218
  • 最近回答:2012-03-15
  • X社区推广