活动简介
传统运营商的数据处理,一般利用关系型数据库,比如oracle写一些存储过程的脚本,然后将这些脚本配置到etl中,进行调度。后来hadoop出现后,大数据兴起了,运营商的数据处理方式逐渐切换成利用hadoop生态的一些框架进行处理。在这一方面,已有先行者克服诸多困难为我们提供了案例。如某省移动网络数据,由于存放在不同的数据库而难于管理导致难以产生价值,为了打破这个局面,勇于尝试利用基于hadoop的一些开源框架,进行数据处理管理。首先数据的存储从之前的NFS转变成hadoop的hdfs(分布式文件系统),之前容易出错的存储过程,现在可以利用hive的sql进行数据的清洗,归并,离线查询。
在切换过程中,会遇到以下问题:
1.之前没有接触过hadoop的话,要从0 开始摸索
2.因为传统数据库的调优都是有先例可以参考,但是hadoop的底层计算调优,每个参数的含义都得去尝试
3.如何在切换hadoop生态的同时不影响现有的脚本运行机制
本次活动,就让我们从技术、业务等方面探讨数据处理引入hadoop生态的必要性。
探讨时间:4月19日——4月25日
备注:如果您提出的问题不详细或者灌水,管理员有权对问题进行删除
活动规则及奖励
1、所有提出的具体问题均可百分百得到嘉宾的详细回复;
2、活动结束之后,嘉宾会评选出最佳提问者,单独获得微信红包奖励或者等额的社区金币奖励。 名额:10位;
3、积极参与交流解答,分享自己的经验的人员,回复的内容得到点赞最多的1位,单独奖励VR眼镜一副。
上述评选时间为2017年4月25日18:00.