金融其它大数据Hadoop

企业大数据落地思考:不懂业务,基本上这工作无法有效开展

技术人跟非技术人对大数据概念的理解不一样,最近感觉特别强烈,业务端对我们正在做的大数据项目的期待与我们实际做的完全不是一回事,他们把基于机器学习算法衍生的系统诸如推荐,诸如风控,诸如反欺诈等都认为是大数据范畴,技术宅对大数据的理解局限在Hadoop诸如此类的具体技术实现上,并不能说业务搞错了,也不能说技术人狭隘了,不同的视野和诉求导致对事情的理解不同。

作为研发团队该如何落地,即保证了方向上的正确性,又满足业务端的诉求,我分享下我们现在的节奏,仅供参考

我把数据需求分为两类,一类为辅助决策类,如BI,数据运营平台的概念,一类是数据应用类如机器学习等算法衍生的应用系统。

我们的发展合规划如下:
最早我们是一个DBA团队,主要负责数据提取,后来我们需要做报表,再后来报表也满足不了需求,我们需要在报表上增加可视化功能,就这一点小小的转变,其实对技术来讲,是颠覆性的,我们推翻了原有的报表系统,研发了新的可视化报表系统,一方面满足常规报表的同时,一方面要有分析报表即可视化的东西在里面,这是一个阶段

接着我们面临另一个阶段,分析类的需求越来越多,原因是业务部门开始觉悟数据的重要性,与我们的想法也一致,我们一直在推动数据化运营理念,拒绝拍脑袋决策,分析需求越多的结果是数据要求全量的可能性增加,维度越来越多,指标越来越多,计算越来越慢,我们开始想办法,否则很快就会被业务投诉,
我们第二个阶段是数据仓库重建,引入MOLAP概念,引入了Kylin等MOLAP数据仓库,大概用了一个季度的时间,我们完成了OLAP ON Hadoop 的任务

这个时候我们的技术体系很乱,底层有Hadoop平台,中间有数据采集平台,上面有数据仓库kylin,再上面还有好几个数据展示系统,还有一大堆周边系统,我们决定整合他

同时,我们把重心往数据价值发现上倾斜(这个时候我们已经单独成立了一个部门,对企业来说这一步意义深远),原有的数据分析师开始发挥价值同时引入数据挖掘岗位,算法开始逐渐显得很重要,紧接着针对机器学习而衍生一些数据应用系统的规划提上章程

与此同时,我们与业务端沟通时发现,他们对我们有更多的诉求,而这些诉求虽然与我们理解不一样,但目标不谋而合。于是乎,底气来了,目标清晰了,

总结:对于企业,我觉得大数据在数据仓库上的落地风险最小,最容易成功,一旦成功,后续很容易全面开花

 对于个人,尤其是DBA(我们这个团队最早就是DBA演化来的,我以前是DBA负责人),DBA想往大数据方向发展,可以考虑从数据仓库入手,最容易因为有技术基础,然后接触MOLAP的概念,尝试去学一学Kylin的思想,Kylin有时候不太好用,但这不影响我们去用好他,用好他以后你可以甩了他再选择别的技术,原理都是通的,这时候可以尝试往算法方向发展,如果团队有数据分析师团队,加入他们或者与他们协作,关于学习我一直坚定认为用比学学的更快(有点拗口),再往后尝试跟上机器学习的步骤,后面的路就宽阔了,,,AI智能也可以搞一搞。。
 
  一句话总结:数据仓库切入,MOLAP奠基,Hadoop深入,机器学习算法腾飞,从AI到跑路。。。。
  
       全是瞎话,欢迎吐槽(反正我也不看)
       
      
参与12

3同行回答

kaodaxiakaodaxia  项目经理 , 北京银企融合技术开发有限公司
研发与运维有Devops连接,技术与业务也必然会连接,我对这个团队未来的定义是一个业务增长团队,不管是技术驱动还是数据驱动,不懂就不动,打死不动显示全部

研发与运维有Devops连接,技术与业务也必然会连接,我对这个团队未来的定义是一个业务增长团队,不管是技术驱动还是数据驱动,不懂就不动,打死不动

收起
金融其它 · 2017-07-06
浏览3078
andy618andy618  系统运维工程师 , GIMC
现在工作只是做简单的运维,业务完全不熟,也不让接触,说是核心数据怕泄密,只能自己慢慢学。显示全部

现在工作只是做简单的运维,业务完全不熟,也不让接触,说是核心数据怕泄密,只能自己慢慢学。

收起
互联网服务 · 2017-07-07
浏览2541
zhanghaiyangzhanghaiyang  系统工程师 , 联合网讯
技术路线很清晰 有参考价值 。学习显示全部

技术路线很清晰 有参考价值 。学习

收起
互联网服务 · 2017-07-06
浏览2832

提问者

kaodaxia
项目经理北京银企融合技术开发有限公司

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-07-06
  • 关注会员:3 人
  • 问题浏览:6348
  • 最近回答:2017-07-07
  • X社区推广