有关虚拟化平台系统架构方面的问题

同意楼上关于规划和按类型与重要性分类的建议。
400多台虚拟机，整合度很高啊，这样非常有利于削峰填谷，共享资源。相信这些虚拟机的峰值时间各不相同，能够比较好的共享性能。
关于“存储CPU使用率会非常高，有时达95%以上”，我觉得这本身不能说明一定有瓶颈，或者说不一定是问题，反过来说，如果CPU利用率总是不高，那是不是有点儿浪费呢。当然，这个95%的时间是不是与ESXI端报某个存储池IO滞后的时间吻合，是需要关注和分析的。
您谈到的 FAS6240应该都是双控96GB内存的，我理解您所说的是其中单控的配置。由于您的配置里用的是性能较差的SATA盘，而没有采用SAS盘（FAS6240可选SAS万转或15k的），所以有的存储池IO性能较差也好理解。要知道SATA盘的性能与SAS的差距还是很大的，不仅是转速差了一倍，由于单盘容量大数倍，导致相同容量数据分布的磁盘可能少数倍，性能的差距就大了。另外， FAS6240可以最大选配6TB Flash cache的，100GB的SSD配了多少，不知您的配置情况。
您描述中的性能问题就集中在“某个存储池IO滞后，有时能达1S左右”，那么这个存储池的细节情况是我们分析的重点。这个池用到哪些磁盘，数量和分布，有SSD吗？哪些分区使用这个池内的LUN？这些分区性能受影响了吗？其实，归根结底是对应用的影响，如果应用不觉得慢，那就一切ok了。
分析以后，可以看怎么解决，最简单的是调整受影响的分区的存储到高性能的存储池中（硬盘多，有SSD盘）。
前面您还问过更改到分布式的存储架构是否适合，我觉得如果您的现有容量基本可以满足要求的话，还是基于现有配置优化性能比较适合。收起

首先恭喜您已经采用了虚拟化整合部署方式。在遇到瓶颈的同时也从另外一个侧面说明您的存储资源利用率是很高的！这既使您共享资源，降低了费用（不用每个应用一套存储)，又方便了统一管理和数据保护（冗余，甚至灾备功能）。
随着虚拟化整合的规模增长，存储瓶颈出现的可能性是很大的。但是原因和需求并不相同，主要有三方面：
1> 启动风暴，或者激增流量。主要是在多虚拟机同时启动或类似状况下出现突发性大IO需求。毕竟，启动时的代码访问和数据加载都会导致IO高峰。
2> 混合负载。不同的应用io需求不同，有的是随机io，有的是连续io，有的是io块比较小，有的都是大IO块，负载不同对存储的需求也不一样。有的IO会影响到其他应用。
3> 持续部署增长。主要指虚拟化平台快速发展，数量和原虚机的容量快速增长，这样必须对存储平台有预先的规划和3到5年的增长。并且需要重视存储的在线扩展能力。

总之，先明确和细化需求，然后针对性地进行规划和调整就可以了。

btw, 不同的存储技术都是有适用性的。比如，SSD主要是随机io和延时性能非常好，但如果是类似于备份归档或流媒体之类的连续大规模io，其实并不适合。收起

回复 3# blue_diamond
那您觉得分布式的硬件系统架构以后趋势如何？像nutanix这种东西以后会不会是主流？
您指的是软件定义存储SDS以及Object Storage这一类架构吧。关于未来趋势这个问题有些大，简单说，我觉得随着大数据类应用的发展，这类技术会有一个快速的发展。其典型优势是易于扩展，且单位容量成本低。易于扩展是因为其是基于网络的，搭好管理平台后，存储节点扩展基本不受限制。一头羊是赶，一群羊也是放。单位容量成本低是因为每个存储节点大多用本地磁盘，且性能没有特别要求。而且如果管理软件高效的话，性能并不会随容量规模而下降。但是也要看到其目前的局限性，（任何技术都有局限性），一般这类技术与目前的高端SAN存储相比，其针对OLTP/OLAP类传统的结构化数据的访问性能还有差距。这也是为什么openstack里不仅有swift还有cinder的原因吧。
关于nutanix,其有一体化解决方案，也有单独的SDS管理软件（据说这两天还发布了一个免费测试版软件）。据说可以保留用户原有硬件，装软件即可通过网络搭建SDS架构。
能解决我上述的问题不？
关于能不能解决问题，还是先要分析问题，基本上要从我上面帖子里提到的三个方面来细化分析。比如，可以从“目前的虚拟机数量、应用类型、未来扩容计划、目前存储配置、性能瓶颈表现（量化，比如某应用原来响应时间2s，现在高峰时10s；某虚机高峰时宕机），监控记录”等信息着手。看需要什么样的存储来解决。
您可以将系统现状及需求的详细信息发给我，我可以为贵企业做个详细的分析。收起

采购X86服务器，部署虚拟机，分布式存储，低成本且高效收起

我觉得如果你们是并发性比较大的应用系统，那么单个存储肯定是瓶颈，所以系统架构的设计首先要根据业务场景来定，看看淘宝的双11，你就知道分布式架构的意义了收起

我觉得他们肯定会成为主流，但是目前他们的价格太贵了。回复 3# blue_diamond 收起

存储分层。收起

400多台虚拟机放在同一台存储上面，很显然，IO就成为了瓶颈。从存储CPU经常达到95%来看，对存储控制器等部件的使用寿命都会带来影响，鉴于此，给您提点个人建议：
1、合理规划和分类一下400多台虚拟机的业务，对IO性能不高的虚拟机迁移到磁盘性能差一点的LUN上，将IO吞吐要求高的虚拟机迁移到磁盘性能高的LUN上。
2、利用SSD做热LUN的话，其实也得看你数据使用的命中率，对存储CPU计算负载会明显增加，数据在存储层处理本身就有一个预热的过程，如果业务分类得当，会有一定的效果。
3、建议增加一个高性能的存储加入虚拟机的存储pool，控制器建议是双控，将IO高的虚拟机迁移到新存储上。
4、全闪存的硬盘理论上会提高读写性能，但是如果控制器的性能已经达到瓶颈，其实提升的性能还是有限的，而且成本也是要高很多。使用寿命也较普通硬盘要短。收起

现状是我们有400多台虚拟机，启动风暴到是不存在，基本上全部都开着的。不会老关来关去。
应用类型也是各种各样，比较杂。目前存储配置是netapp FAS6240，单机头48G内存+SSD+SATA盘，性能瓶颈表现就是存储CPU使用率会非常高，有时达95%以上，VMWARE ESXI端报某个存储池IO滞后，有时能达1S左右。收起

那您觉得分布式的硬件系统架构以后趋势如何？像nutanix这种东西以后会不会是主流？
能解决我上述的问题不？收起