集群优化数据库Hadoop

Hadoop深入了解之集群优化篇 在线技术交流

Hadoop深入了解之集群优化篇 在线技术交流

活动简介

随着DT时代的到来,传统企业、互联网公司产生的数据量越来越大,每天会产生上百G数据量。企业也开始使用hadoop来处理和存储如此庞大的数据。然而搭建集群很简单,但是如何让“大象”能快速的跑起来,如何让集群的资源利用率达到80%以上,则是一个技术积累的过程,也是hadoop中最高深的部分。本次将结合企业自身的业务场景和存在问题来解答如何去优化和配置集群。

活动日程

本场提问时间:8月17日-8月21日

集中交流时间:8月21日14:00-16:00

提问规则

场景描述(务必尽量详细,越详细给出的答案越明确)

说明:描述中需要包含以下信息:

1、当前集群的规模,

2、机器的配置

3、机器部署情况(hadoop、hbase等如何部署)

4、用集群来处理什么问题,处理结果输出到什么地方

存在问题(描述集群在处理任务的情况)

说明:描述中需要包含以下信息:

1、处理的数据量多大(每天多少G或者累计多少G)

2、任务量是多少(假如使用MapReduce,则需要说明产生多少个Task多少个Reduce,假如使用HBase需要提供如何去插入或者查询数据)

3、问题描述(系统出现的问题是什么,尽可能描述问题现象)

主题资料

【案例】Hadoop深入交流之集群优化

#尘世随缘技术总监, 上海某互联网金融公司
71会员下载资料
业主平台要是一款具备千万级用户的IM系统,系统输出IM消息推送能力服务,提供在线以及历史消息查询、用户活跃度分析等。利用hadoop搭建集群环境,使用HBase提供离线消息存储和历史记录存储的查询。使用MapReduce来提供统计分析。
浏览2058
下载71

社区专家

尘世随缘
技术总监上海某互联网金融公司
擅长领域: 云计算云原生微服务
发布248
回答202

互动嘉宾

humidy
信息分析/架构师某公司
擅长领域: 大数据商业智能数据库
发布95
回答34

活跃参与会员

  • wnxyer
  • freebile
  • heraleign
  • jackbillow
  • haorengoodman
  • 尘世随缘
  • laixin
  • xiaokekehaha
  • humidy
  • williamleeltbi
  • junchenbb0430
  • Lancer
  • 美国队长
  • ppvke903
  • robinzyx
  • john1992
  • 问道
  • eyibinghe
  • wookong
  • qldd_2001
  • richardmark
  • qingyun1208
  • weiruan85
  • sky9690
  • lvback
  • zhangjunpo
  • lioumg
  • faye
  • aigoppb
  • twt运营
  • yinxin
  • heruiguoabc
  • l7630155
  • KingLee
  • iamfrida
  • 艾依然
  • 陈宇
  • youyougenius
  • aaa0557880
  • yhd_my
  • hchao
  • xie4531
  • x1a0fe1
  • shomer23
  • 听雨
  • Shane_Qian
  • haiyang
  • 边城
  • xtsqianli
  • fly
  • magic
  • l954368978
  • hn5092
  • 主力小白
  • WEEJAR
  • mdkii
  • wang_funing
  • sephirose
  • yufeng411
  • 忧郁浪人
  • topwewang
  • 时东南
  • wudi003
  • caviler
  • larry_db2
  • afeiwf
  • rangeliu
  • richard_macy
  • patrick2
  • zjkyly
  • topexcel
  • z294155673
  • 不死鸟
  • timlincool
  • w634320089
  • DB2中国社区
  • chengyan
  • sjpeng007
  • zhanghy
  • fangwei
  • 帅帅的大数据
  • xuhushan
  • alvan27
  • heshuyu001
  • zjqweter
  • zhuosh
  • luckyrandom
  • kivin
  • ryantotti
  • real_terry
  • Terry91
  • goalfish
  • qyu3
  • swalk123
  • Aresbxj
  • joyjill
  • thenwhy
  • wendiy
  • jxauwxj
  • marx1911
  • lxchzz
  • zhanzq
  • tc514821
  • 数据库大B哥
  • woaiwah
  • ckdkk
  • asd12121
  • xiaokekehaha11
  • zhaijianhui
  • 原地没有风
  • johnson0701
  • sunqiangwei
  • lzycxy
  • michaelli916
  • 蒋文杰
  • qi316711
  • p8beng
  • cdwbaotou
  • dingxl555
  • 王世忠
  • zlfkyo
  • maoqy
  • 走过的季节
  • skyrainman
  • langerone
  • hackeruncle
  • Fannyxu
  • bigdata_w
  • jackyshi
  • liveonsky
  • xzongming
  • sdfsdfsdf4535
  • theway
  • X社区推广