ETL的过程原理和数据仓库建设优化方案

正在加载中...

试读已结束

继续阅读请 1 金币购买后下载

立即下载

资料简介:
1.引言

数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取、转换和装载到模型的过程,整个过程基本是通过控制用SQL语句编写的存储过程和函数的方式来实现对数据的直接操作,SQL语句的效率将直接影响到数据仓库后台的性能。

目前,国内的大中型企业基本都具有四年以上计算机信息系统应用经验,积累了大量可分析的业务数据,这些信息系统中的数据需要通过搭建数据仓库平台才能得到科学的分析,这也是近几年数据仓库系统建设成为IT领域热门话题的原因。

2.优化的思路分析

数据仓库ETL过程的主要特点是:面对海量的数据进行抽取;分时段对大批量数据进行删除、更新和插入操作;面对异常的数据进行规则化的清洗;大量的分析模型重算工作;有特定的过程处理时间规律性,一般整个ETL过程需要在每天的零点开始到6点之前完成。所以,针对ETL过程的优化主要是结合数据仓库自身的特点,抓住需要优化的主要方面,针对不同的情况从如何采用高效的SQL入手来进行。

2015-03-20
页数4
浏览4924
下载39

已下载用户的评价7.80分

您还未下载该资料,不能发表评价;
查看我的 待评价资源
trevor23trevor23   研发工程师 , NTU2016-12-05
有用
很棒的資源~學習到了
tosummittosummit   数据库开发工程师 , 上海诺祺科技有限公司2015-10-21
没用
我偷偷的拿走,也不说句谢谢!
canon300canon300   软件开发工程师 , Netpro2015-10-01
没用
謝謝,我可以參考您的分享嗎?
hello_maohello_mao   其它 , hello2015-09-28
没用
下来学习学习先
hys9999hys9999   软件开发工程师 , 碧软2015-09-22
没用
下来看看希望是干货,哈哈
zhonghanquanzhonghanquan   业务部门经理 , 信和汇诚2015-09-22
没用
学习一下,谢谢楼主。
caiwei0000caiwei0000   系统分析师 , cc2015-09-18
没用
学习学习学习
aguowenqiangaguowenqiang   软件开发工程师 , 中科软科技股份有限公司2015-07-16
没用
看看,谢谢楼主分享
wwz573398723wwz573398723   软件开发工程师 , BI公司2015-06-25
没用
感谢楼主的分享
Jerry2015Jerry2015   技术支持 , IT2015-06-17
没用
感谢楼主的分享

贡献者

kkmmll软件开发工程师,kkmmll
X社区推广