依托openstack解决一些业务系存在的问题（立项调研）

回复 1# kangjianhua


您好，OpenStack主要解决的是资源池化和资源分配的问题，并没有直接将资源聚合的功能。

根据您对应用的描述，主要的两个问题：
1、局部出现存储密集型应用
2、CPU利用率不足

第一个问题属于应用本身的问题，不知道您是否尝试过使用高速存储设备或SAN设备，能否能缓解您的问题。您应用主要消耗的是存储的带宽还是IOPS？如果是多读少写的场景，也许Ceph可以帮您解决一些问题，如果是多写少读的应用，可能在现有硬件场景下，无法通过Ceph完全解决您的问题。

第二个问题应该是OpenStack解决的一个重要问题，可以提高您的资源利用率，主要表现在申请和回收的便捷性上。通过OpenStack的管理，您应该可以将您的硬件资源的使用率发挥到极致。这一点您完全可以使用开源OpenStack达到您的目的。

总体来说，应用本身的问题并不能直接通过部署OpenStack或者Ceph来解决，最好结合应用本身进行优化或者可以采用分布式的方式进行部署(前提是应用支持)，缓解压力。收起

您遇到的问题是我们所说的竖井式结构都会遇到的问题，资源利用率偏低，资源之间无法共享，资源分配和调整不够灵活，维护成本高等等。
通过OpenStack可以有效的对现有资源进行整合。有以下几点好处：
１.　通过计算虚拟化，分布式存储，SDN等技术最大限度实现资源共享，将各种类型的、分散孤立的计算、存储、网络资源整合成为可以统一管理、弹性调度、灵活分配的资源池，每个业务系统不再占用独立的物理服务器、存储和网络资源，而是与其他业务系统一起，共享云中的资源。
２.　有利于进行环境的自动化部署和维护，快速提供标准、安全和稳定的资源服务。随需分配和回收资源。未来新建业务系统或扩容、迁移业务系统，只需要根据需求从资源池中直接获取资源即可快速完成，而不必额外申请购买。在业务系统生命周期完结后，也可释放资源回到资源池。这样既提升了业务部署效率，又提升了资源利用率，降低了总体拥有成本。
３.　弹性扩展资源，云计算平台满足各种应用系统对计算存储资源的需求请求，实现硬件能力对应用的按需分配与快速部署上线，在资源不足时，可在线弹性扩展资源，以满足业务需要，确保服务级别。

当然，具体的方案，还需要很多因素需要考虑，比如您现有环境的机器配置，网络情况，应用和数据的迁移等等，欢迎线下咨询。收起

上海有云基于开源OpenStack构建企业成熟的基础设施云管理解决方案，希望如下回答可以帮到您：
原生态的OpenStack实现资源的抽象建模，提供高阶数据模型易于管理和监测，灵活插件化的架构设计建立了很好的生态环境，但是直接面向商用还有一定距离：主要问题如下：
①可靠性：OpenStack自身版本质量和外层的可靠性离商用还有一些距离
②部署实施：当前OpenStack自身的部署实施能力很弱，开源的一些部署实施工具也各有所取
③运维：单纯的ceilometer还不能完全实现整个基础设施的计费运维诉求
针对100台左右的服务器，性能上不是很大的问题，但配合不同的虚拟化，ceph的存储OpenStack还有一些问题，需要进行一些开发，包括网络的互联互通，当然，存在以上问题并不意味这OpenStack没有商用的可行性，取决于用户的实际需求完成不大量的追尾开发，完全可以，并且当前很多解决方案也基于OpenStack构建，如果有兴趣，我们可以提供完整的解决方案，也可以提供咨询和配套服务，可以与我取得联系，回答不能周尽，请谅解！收起

1、一般来讲，开源云平台落地都需要不同程度的二次开发。
OpenStack的基本作用是搭建维护一套云平台，对物理资源做虚拟化管理。
开发工作简单的话，是针对效率和稳定性的一些调优，复杂的话，还有调度和分配，以及后续运维和管理需求的开发等等。
2、OpenStack 和 CloudStack是两大开源云平台，可以都进行一下调研。相对而言，CloudStack产品化更加成熟一些，安装和运维比较方便。
===============================================
针对贵公司业务逻辑产生的问题：
高峰期瓶颈的问题，我理解为是磁盘读写性能瓶颈，这个通过OpenStack或者ceph都是无法解决的，目前比较主流的方案是用memcache或者redis集群预读磁盘数据做缓存，这个缓存机制和调度需要开发，但跟OpenStack可能关系不大
磁盘利用率不充分和CPU利用率不足的问题，可以通过OpenStack搭建云平台来进行资源的调度，整体利用率会提高，空余出来的部分，可以考虑是用做Swift存储还是将内存作为缓存系统的集群。

服务器按业务对象进行配备硬件，应该是因为各个业务需求对各部分产生的压力需求不同，这个不一定能由OpenStack进行统一配置。OpenStack是基于各虚拟化技术对资源进行细粒度划分和隔离，本身是没有真实物理硬件划分的，所以也只是能解决普遍性的资源调度需求，针对特定环境的硬件需求，未必可以完全满足。

ceph实测结果不够稳定，虽然用于块存储不会损失数据，但是有无法读写或者宕机的可能，需要重启机器恢复。这个如果真的想用于生产环境，还是有一定风险的。

可以考虑采用OpenStack（CloudStack） + KVM（XenServer等虚拟化） + Docker + Swift + memcache（Redis）的方案。
OpenStack/CloudStack用做云平台管理
KVM/XenServer/VMware用做hyperviser，提供需要完全隔离的VM环境
Docker/LXC 容器用做不需要强隔离性，但是需要更好的IO线上业务
memcache/redis集群用做缓存，解决高峰期磁盘读写瓶颈的问题
Swift可以利用剩余可利用的磁盘空间，作为文件存储系统，为公司线上线下业务提供存储空间，但不能保证高IO收起

目前，本公司的拓扑环境是这样的，公司有一批5台Dell R710、8台IBM X3950M2、4台HP DL785G5服务器、一台IBM DS6800存储、一台EMC VNX5300存储、两台博科光纤交换机、2台思科三层交换机、2台2950思科交换机，公司领导想在不增加设备的情况下，将当前的拓扑环境迁移到openstack云平台上，目前公司正处在openstack部署的调研阶段，针对目前公司在openstack遇到的问题罗列如下，希望社区的专家能够为本公司出谋划策：

对于openstack，我主要存在以下问题：
1、openstack是否与其他云平台（如恒天云）同样存在集群的架构；
2、openstack在网络方面的规划；
3、openstack经过虚拟化之后，是否会存在性能方面的瓶颈；
4、openstack是否会增加管理的难度，维护成本是否会更高，对管理员的要求是否会更高；
5、openstack能否利旧当前的网络、主机、存储设备收起

对于openstack，我主要存在以下问题：
1、openstack是否与其他云平台（如恒天云）同样存在集群的架构；
2、openstack在网络方面的规划；
3、openstack经过虚拟化之后，是否会存在性能方面的瓶颈；
4、openstack是否会增加管理的难度，维护成本是否会更高，对管理员的要求是否会更高；
5、openstack能否利旧当前的网络、主机、存储设备收起

回复 13# kangjianhua


    按照您之前描述的问题，OpenStack对您来讲的确是一个很好的选择，但是个人认为OpenStack现存的三大问题：
1、部署
2、运维
3、对商业软件不友好

所以可以先组建运维团队，保证系统能够正常的实施和运转，之后再考虑一些需求的定制。最后投入研发，也是由于OpenStack本身涉及面太广，一上来组建研发团队可能需要很大的成本，所以可以循序渐进，摸索中前进的方式。

    另外，对于分布式存储Ceph/GlusterFS等都是比较火爆的项目，而且都有比较成功的规模性案例。个人更喜欢Ceph，这也可能与我们公司主推的方案有关。对于分布式存储，个人认为先以优化为主，等到实在满足不了需求的时候再进行投入研发，相比而言，分布式存储的研发要比OpenStack本身的研发难度高很多。
    最近比较火的Docker也是不错的选择，可能需要您根据实际情况进行选择。

    至于商业化的解决方案，选择真的太多了，我对商业化的解决方案了解不多，但是可以肯定的一点是，一分钱一分货，所以推荐先POC，再决定用哪个^_^。希望我的回答能对您有帮助。收起

回复 12# 北京休伦科技


    恩，您分析的结论，跟我们之前做调研的结论基本一致，根据你的经验，如果我们想走开源路线的话，能够推荐一些您认为，相对稳定的开源解决方案，这样即使我们选择招聘人员做开发、维护，面临的坑也能少点！
另外走商业解决方案的话，希望能够给一些指引，我们前期选型、沟通时，哪些需要注意？收起

    在不考虑增加您现有成本的前提下，只能从应用优化的角度去考虑该问题，但是前提您公司有充分的时间和技术能力来实现您的目标。
我之前曾经接触过跟您相似的企业，这个企业出现问题的是自己的邮件系统，问题的核心也是读写能力不足，最后企业选择的是采用系统集成的手段解决问题，VMWare + EMC存储。
其实这个企业的问题，同样可以采用软件优化的方式来解决，但是解决周期可能会很长，所以最终他们选择了集成的手段去解决。
开源是个好东西，但是同时意味着不成熟、不完整，这也是各个大厂商心怀鬼胎的去从事开源的核心目的，每个厂商必然有他们的商业诉求，让你尝一点点甜头，等您意识到离不开的时候，再告诉你里面有很多的坑，这样您不得不买这些企业的服务了。
所以呢，如果您真的想着眼于开源手段解决问题，那么您必须有一个持续的团队的投入在这方面，根据论坛中的一些建议，构建您自己的环境进行大量的测试甚至研发来满足您自己的需求。收起

回复 9# kangjianhua


    我觉得首先您要清楚您已经上线的服务器最大的带宽和IOPS是多少，这种测试工具很多，Linux下的fio和Windows下的IOMeter都可以获取。
    关于您应用本身的耗占情况，主要需要明确的问题：
您的应用架构？
里面是否涉及数据库、中间件或者第三方软件？
得到这些之后，可以逐步进行分析，Linux中可以通过pidstat或者其他监控软件获取每个进程的读写耗占情况，得到这些结果后，再分析这样的结果是否合理，有无优化的地步。最后与云平台所能提供的性能指标对比，就大概能够确定应用是否能够在云平台正常运行的结论了。

一点点不成熟的见解，还望继续讨论。收起