hadoop1.x升级和平台出租(立项调研)

问题方向:  hadoop平台企业难点背景、包含IT环境: 企业现有有两套大数据平台,一个是80个节点的集群由于建设的较早,版本为CDH3u5。另一个集群是20个节点,版本为CDH5.1。目前有多个部门使用者两个集群,今年还有将这两个集群对外租用。遇到什么具体问题:1、企业想升级老...显示全部
问题方向:  hadoop平台
企业难点背景、包含IT环境: 企业现有有两套大数据平台,一个是80个节点的集群由于建设的较早,版本为CDH3u5。另一个集群是20个节点,版本为CDH5.1。目前有多个部门使用者两个集群,今年还有将这两个集群对外租用。
遇到什么具体问题:
1、企业想升级老的集群,但是数据量较大,hadoop1.X升级为2.X没有找到比较好的解决方案。
2、大数据平台需要对外租用,就要考虑到资源分配、安全性和如何计费,这块也没有找到较好的解决方案。
希望达到什么效果:1、不影响应用的情况下如何将hadoop1.X升级为2.X。2、大数据平台对外租用平台该如何设计,资源如何分配、安全性和计费如何解决?收起
参与7

查看其它 5 个回答sprewellkobe的回答

sprewellkobesprewellkobe专有云TX
平滑迁移是个技术活,大体思路就是双写,然后当同步完成的时候,将业务切到新环境上。这里面主要是两个问题:
1,数据同步收敛
2,业务能否快速切换

这依赖于你们的内部实现,比如所有业务部门都把hadoop的ip写死了,那要做到瞬间切换就难了
互联网服务 · 2015-03-11
浏览1584

回答者

sprewellkobe
专有云TX
擅长领域: 云计算安全网络

sprewellkobe 最近回答过的问题

回答状态

  • 发布时间:2015-03-11
  • 关注会员:1 人
  • 回答浏览:1584
  • X社区推广