大数据处理平台技术产品选型探讨

大数据处理平台技术产品选型探讨

活动简介

提起“大数据”就不得不提起有关数据的处理,虽然有人说过大数据在数据质量方面的要求不比传统数据的要求那么严格,当然这也是分场景的断言,但是无论何时数据处理在大数据的生态中始终处于不可缺少的地位。

一般而言,数据处理包括前期数据的规整,比如时间格式化,字段的补齐等;中期,比如为了统计出某个指标,需要多报表关联进行数据逻辑处理等。而现阶段的有关数据的处理,有传统的ETL工具利用多线程处理文件的方式;有写MapReduce,有利用Hive结合其自定义函数,以及最近比较热的利用spark进行数据清洗等,可以说每种方式都有各自的使用场景。因此,我们在实际的工作中,需要根据不同的特定场景来选择数据处理方式。

在本次主题为“大数据处理平台技术选型探讨”在线技术交流活动,我们将重点围绕选型过程的中的具体问题进行互动探讨。核心探讨议题如下:

1.传统ETL ,Mapreduce,Hive,Spark等处理数据文件的场景分析

2.Hive在数据逻辑处理中如何利用自定义函数

3.Mapreduce,Hive ,Spark处理数据的优化策略

4.大数据处理平台技术平台选择,是纯开源,还是纯商用,还是开源+商用?


推荐阅读:大数据处理平台技术产品选型探讨

嘉宾

rein07rein07系统架构师, 某证券
发布154
回答130
heraleignheraleign网站架构师, iwhalecloud
懂开发的运维!
发布66
回答51
美国队长美国队长研发工程师, Alibaba
大数据专家
发布171
回答145

活跃参与会员

  • pysx0503
  • zhanghaiyang
  • asdf-asdf
  • 闪电麦坤
  • Jhon
  • luole1060
  • wangzk0206
  • heraleign
  • w996433090
  • kaodaxia
  • iceman1006
  • andy618
  • bryan_sd
  • ttkanni
  • sprewellkobe
  • qq373793057
  • haichuan0227
  • lzx660927
  • hleio
  • hyf200485
  • redgreat
  • 冯帅
  • 美国队长
  • chenruiziyao
  • rainforc
  • xuanshikeji
  • bigdata_user
  • rein07
  • 江南无烟雨
  • 时东南
  • 冯连进
  • z630860668
  • sjxiaoiter
  • aixchina
  • s6dong
  • 北京老鹰
  • lijianh9634_186
  • nccdap
  • faye
  • eversmily
  • wangbostar
  • amyandtian2
  • tianshizuoyi
  • mytxy
  • 彬彬
  • jxnxsdengyu
  • zsj2002
  • y453056108r
  • mqni
  • lxpeng163
  • sampan
  • qiuhaoshu
  • 丹心明月
  • lisen222
  • beyondmch
  • peterzhu
  • wangyunjin
  • 奥博
  • chinabond
  • bankinfo
  • shin_hu
  • gmdh999
  • 嬴政
  • cuicuitiger
  • mcgrady93
  • liaogzhu
  • supremeholy
  • tianjiang
  • mczmiao
  • 华夏猎隼
  • wenwen
  • superwood
  • joss
  • lspsbic
  • 疯狂刀魔
  • Hejf
  • 小鬼
  • william_wu
  • Mr_zhangCY
  • Super_Liu
  • 绝版了我
  • 月光满楼
  • ekinhu
  • 快乐的包子
  • James_Liu
  • KK加油
  • sealink
  • CYQ1541058585
  • laupete
  • 铮先森丶
  • qianff
  • guoyong010
  • bigpan
  • vindak
  • 依旧无情
  • plx198511
  • 王大锤
  • 冬子哥
  • greendy
  • 王希瑞
  • 刘乃昌
  • junma
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30