hadoop1.x升级和平台出租（立项调研）
问题方向： hadoop平台
企业难点背景、包含IT环境： 企业现有有两套大数据平台，一个是80个节点的集群由于建设的较早，版本为CDH3u5。另一个集群是20个节点，版本为CDH5.1。目前有多个部门使用者两个集群，今年还有将这两个集群对外租用。
遇到什么具体问题：
1、企业想升级老的集群，但是数据量较大，hadoop1.X升级为2.X没有找到比较好的解决方案。
2、大数据平台需要对外租用，就要考虑到资源分配、安全性和如何计费，这块也没有找到较好的解决方案。
希望达到什么效果：1、不影响应用的情况下如何将hadoop1.X升级为2.X。2、大数据平台对外租用平台该如何设计，资源如何分配、安全性和计费如何解决？
企业难点背景、包含IT环境： 企业现有有两套大数据平台，一个是80个节点的集群由于建设的较早，版本为CDH3u5。另一个集群是20个节点，版本为CDH5.1。目前有多个部门使用者两个集群，今年还有将这两个集群对外租用。
遇到什么具体问题：
1、企业想升级老的集群，但是数据量较大，hadoop1.X升级为2.X没有找到比较好的解决方案。
2、大数据平台需要对外租用，就要考虑到资源分配、安全性和如何计费，这块也没有找到较好的解决方案。
希望达到什么效果：1、不影响应用的情况下如何将hadoop1.X升级为2.X。2、大数据平台对外租用平台该如何设计，资源如何分配、安全性和计费如何解决？
6同行回答
安全性部分现在可以使用Kerberos集成ladp。可以精确到数据文件的权限，也可以自己扩展Hadoop的权限模块。每个业务线的研发人员都可以通过配置Kerberos使用集群。收起
浏览1563
在现有的Hadoop现状中，想实现无缝升级是个难点，升级过程中有些内容需要你注意一下：
1. 在升级需求强烈的情况下，先统计你的Hadoop现有的业务实现的耦合度。以及业务实现中的一些扩展点在下一版本的容错性。
2.在涉及升级过程中一些重点服务的数据保证一致性，尤为需要注意HBase中的数据。
3.在yarn版本之后的资源划分比较方便，其自身fair的资源调度也很完整，可以按不同客户和业务线去细化你的资源边界，
4.关于计费部分可以考虑统计每个用户在集群中的使用情况，例如内存，硬盘，CPU，带宽等情况设计收费细则，这些可以参考阿里云的收费模式。
总结：在升级过程中很难实现对现有业务不影响的方案，但是对于离线分析来说几小时的延迟还是可以接受的，重点是了解你现有集群的一些业务。收起
1. 在升级需求强烈的情况下，先统计你的Hadoop现有的业务实现的耦合度。以及业务实现中的一些扩展点在下一版本的容错性。
2.在涉及升级过程中一些重点服务的数据保证一致性，尤为需要注意HBase中的数据。
3.在yarn版本之后的资源划分比较方便，其自身fair的资源调度也很完整，可以按不同客户和业务线去细化你的资源边界，
4.关于计费部分可以考虑统计每个用户在集群中的使用情况，例如内存，硬盘，CPU，带宽等情况设计收费细则，这些可以参考阿里云的收费模式。
总结：在升级过程中很难实现对现有业务不影响的方案，但是对于离线分析来说几小时的延迟还是可以接受的，重点是了解你现有集群的一些业务。收起
浏览1597
平滑迁移是个技术活，大体思路就是双写，然后当同步完成的时候，将业务切到新环境上。这里面主要是两个问题：
1，数据同步收敛
2，业务能否快速切换
这依赖于你们的内部实现，比如所有业务部门都把hadoop的ip写死了，那要做到瞬间切换就难了收起
1，数据同步收敛
2，业务能否快速切换
这依赖于你们的内部实现，比如所有业务部门都把hadoop的ip写死了，那要做到瞬间切换就难了收起
浏览1579