数据仓库建设的一点疑问

因为我从没有实施过数据仓库的建设,所以一直对数据仓库的建设原理不是很了解,但是自己自学一段时间以后感觉有那么点头绪了。
不过我有个疑问:
一家企业,我为他们做数据仓库建设。首先 他们是有自己的生产数据库系统的,以及其他系统。我帮他们在一台新服务器上建立一个数据仓库。就是把企业中的其他数据源的数据全部录入到数据仓库里。我第一次实施etl过程的时候,的确会把他们所有数据库里的数据录入数据库,但是过了一个生产周期,比如一天,一月,或者一个季度,他们生产数据库里的数据又有了新数据,这样的话我又得重新执行etl过程,再把所有数据库的数据录入到数据仓库。其实这是可行的,但是有问题的,因为只需要录入更新后的数据,而不是再次的全库刷新。而我找不到一个很好的办法来实施类似刷新的功能。
因为刷新的标志是不一样的,有些可能是根据时间戳来刷新的,但有些又不是。很麻烦,纠结中。有人能指点下么?
参与9

9 同行回答

hanjs hanjs 工程师 东软集团
确实存在这样的问题,这个就需要根据具体业务具体分析了。不能一刀切。显示全部
确实存在这样的问题,这个就需要根据具体业务具体分析了。不能一刀切。 收起
政府机关 · 2010-10-21
浏览673
bans13 bans13 其他 DHCC
1# _luxiao 维表可以一段时间重新导过一次,事实表可以利用时间戳获得变化数据显示全部
1# _luxiao
维表可以一段时间重新导过一次,事实表可以利用时间戳获得变化数据 收起
政府机关 · 2010-10-18
浏览675

提问者

luxiao1223
软件开发工程师 aia
擅长领域: 大数据商业智能
评论66

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2010-10-18
  • 关注会员:0 人
  • 问题浏览:4221
  • 最近回答:2012-03-15
  • X社区推广