mapreduceHadoophdfs大数据

Hadoop入门及常见应用问题探讨

Hadoop入门及常见应用问题探讨

活动简介

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,他从0.x版本到现在的3.0版本,经历了各种变化。但是变化中有不变的是他的主要功能就是Hdfs(分布式文件存储) ,Mapreduce(分布式并行计算框架)。其中,Hdfs主要是用来进行文件的存储,他涉及文件存储不同压缩方式,文件存储在各个节点是否均衡等;Mapreduce是用来并行计算数据,他通过简单的Mapper,combine,parttion,reducer的过程对批量的数据进行了格式化,排序等处理,他涉及mapper个数,重写combine,partition,reducer的个数等,为了弄清这些参数值的原理。

我们要对Hadoop有个初步的认识,才能为我们进一步研究别的大数据框架做好准备。当然我们在Hadoop的学习中,可能碰到各种各样的问题,比如Mapreduce如何写?Mapreduce编程中涉及的一些优化?利用hdfs分布式存储系统进行存储文件的时候要注意什么等等。

在本次主题为在线技术交流中,将重点解决如下问题:

1、应该如何学习Hadoop?学习路径应该如何规划?

2、在学习Hadoop的过程中,有哪些可利用的资源?

3、在Hadoop使用中,应该如何诊断和分析故障?

4、遇到的具体Hadoop问题探讨

嘉宾

美国队长
研发工程师Alibaba
擅长领域: 大数据大数据平台数据库
发布172
回答146

活跃参与会员

  • pysx0503
  • nccdap
  • wuwenpin
  • haichuan0227
  • liucj2004
  • beyondmch
  • y18511664518
  • 美国队长
  • kernelry
  • WHM001
  • rein07
  • 柳旭升
  • 时东南
  • 绝版了我
  • James_Liu
  • gossipyboy
  • 黎前红
  • qq33025135
  • 阿童木
  • 建奎生
  • teng4125
  • victorry
  • aixchina
  • 晓黎
  • myciciy
  • guanyang1326
  • gz_kevin
  • penguin23
  • 苏十一
  • nkj827
  • 青山松
  • lijianh9634_186
  • faye
  • yangyong
  • hebingbingsx
  • aixkevin
  • maguang
  • luole1060
  • whui0535
  • 彬彬
  • yinxin
  • 大大觉迷
  • 奥利弗
  • jeery
  • sampan
  • tonygray
  • ynkmtang
  • 韩斐
  • shomer23
  • shuai198727
  • zx2100933
  • 苹果烟台
  • MrMol
  • gzl
  • paulli
  • wangyunjin
  • a251321639
  • mimeer
  • mashuaias
  • YangRuiL.
  • bb652826616
  • wanhy
  • lisongqing
  • wenwen
  • 爱哭的毛毛虫
  • zhouxy
  • pysx05031
  • a190852366
  • jemappelle520
  • xuran
  • 挚爱咖啡
  • engliah12
  • EricCao
  • talentmsy
  • yaweja
  • ha00012
  • zhangts2013
  • xilo
  • zl7a521
  • twt社区运营组
  • WONIDG
  • karia
  • 希瑞Siri
  • zhangxv
  • ss_li
  • liunand
  • 王希瑞
  • liang_linux
  • wmagic
  • 抱电视的
  • chinazzb
  • redender
  • 刘悦炀
  • lzeve
  • 卖云的小沐沐
  • TF
  • flanche
  • ttiswsy
  • tonytaoo
  • vpsuperman
  • anderlee
  • 有礼先生
  • 网上邻居
  • 凡舒
  • 小白兔
  • X社区推广