Hadoop大数据平台产品选型

运营商网络数据分析综合平台传统数据库如何切换到Hadoop?

运营商网络数据分析综合平台传统数据库如何切换到Hadoop?

活动简介

传统运营商的数据处理,一般利用关系型数据库,比如oracle写一些存储过程的脚本,然后将这些脚本配置到etl中,进行调度。后来hadoop出现后,大数据兴起了,运营商的数据处理方式逐渐切换成利用hadoop生态的一些框架进行处理。在这一方面,已有先行者克服诸多困难为我们提供了案例。如某省移动网络数据,由于存放在不同的数据库而难于管理导致难以产生价值,为了打破这个局面,勇于尝试利用基于hadoop的一些开源框架,进行数据处理管理。首先数据的存储从之前的NFS转变成hadoop的hdfs(分布式文件系统),之前容易出错的存储过程,现在可以利用hive的sql进行数据的清洗,归并,离线查询。

在切换过程中,会遇到以下问题:

 1.之前没有接触过hadoop的话,要从0 开始摸索

  2.因为传统数据库的调优都是有先例可以参考,但是hadoop的底层计算调优,每个参数的含义都得去尝试

  3.如何在切换hadoop生态的同时不影响现有的脚本运行机制

本次活动,就让我们从技术、业务等方面探讨数据处理引入hadoop生态的必要性。

探讨时间:4月19日——4月25日

备注:如果您提出的问题不详细或者灌水,管理员有权对问题进行删除

活动规则及奖励

1、所有提出的具体问题均可百分百得到嘉宾的详细回复;

2、活动结束之后,嘉宾会评选出最佳提问者,单独获得微信红包奖励或者等额的社区金币奖励。 名额:10位;

3、积极参与交流解答,分享自己的经验的人员,回复的内容得到点赞最多的1位,单独奖励VR眼镜一副。

上述评选时间为2017年4月25日18:00.

嘉宾

hht202208
业务部门经理aaaa
擅长领域: 数据库服务器中间件
发布81
回答44
ghosthero
其它mb
擅长领域: 服务器中间件需求分析
发布12
回答5
美国队长
研发工程师Alibaba
擅长领域: 大数据大数据平台数据库
发布172
回答146

活跃参与会员

  • leo_wyn
  • luole1060
  • zhenda
  • jxnxsdengyu
  • yhd_my
  • bryan_sd
  • lxin365
  • heijigaoke
  • hyf200485
  • beyondmch
  • lion_hcj
  • 冯帅
  • 美国队长
  • 共同进步
  • chaozi84
  • sjk000
  • rainforc
  • bendsha
  • ghosthero
  • bigdata_user
  • superwood
  • thomas_yds
  • aixchina
  • hygood
  • zzcandylyan
  • danji0522
  • 苏十一
  • faye
  • aixkevin
  • ds8K
  • qysong
  • shshiheng
  • wuwenpin
  • xukaishi
  • 365004875
  • Huawei1900
  • atpeace331
  • powertiandi
  • 彬彬
  • xijiehaiqing
  • ming270004540
  • 798683133yj
  • wwwwwwchun
  • zxh890524
  • peima
  • jingyc_123
  • dhhy606
  • lijianh9634
  • liumz811
  • 陈宇
  • net810
  • yuoucheng
  • xieqli
  • lpstart
  • hchao
  • tiehx
  • wangweilong
  • 大力水手
  • qq373793057
  • w1042802321
  • wcl
  • zaq3638
  • lantianweishi
  • aircox
  • gyhxzyj
  • lisen222
  • yangjianxv
  • sunhineking
  • 1301664724qq
  • ACDante
  • wangyunjin
  • 奥博
  • fengao9888
  • tozf
  • zhang1x1
  • BJ-也许
  • liulei_oracle
  • elysium_h
  • ectec
  • shenjie001
  • lsxbb840118
  • aerolite
  • kong_fanqing
  • 李军华
  • huangyurong321
  • 墨轩
  • IBM_liuchao
  • sos
  • 科比之圣
  • Alex_Gao
  • chenyzhe
  • Wintow
  • 李生厂
  • queqifan
  • guyaozhou
  • cwcw2828
  • 7788hy
  • 无情冰雨
  • zhaiyangce
  • hebeibei
  • 飞翔猪
  • tongshuai
  • jackbore
  • 左右
  • mengqingchao
  • xws237yxc
  • gw880626
  • zhuoyue
  • zhg1988
  • 王希瑞
  • 周一周二
  • legend817
  • fuwangrong
  • 刘悦炀
  • p小白鼠
  • lijcan
  • mango123
  • deepdt
  • cwdxue
  • flanche
  • wukongben
  • akiispsy
  • 一面湖水
  • 隔壁的老王
  • wangyunpu
  • shunyigege
  • Jeff_peng
  • simonhwq
  • csltwt
  • theta
  • vpsuperman
  • hb405836284
  • 半夏蒲公英
  • anderlee
  • ticket21
  • jt_zzh
  • alexhning
  • sxlt
  • tonyleung
  • ericwang_vm
  • szuyenn
  • 冬雪片片
  • tw520
  • 菜鸟小石
  • Samuel_147
  • fantasyer
  • myldtwt
  • 小白兔
  • 子耳了
  • 陈海红
  • yyxxbbmm
  • X社区推广