四种形态的存储系统，软硬件架构，高速链路等到底谁领先？

近日，与一金融用户交流到当前数据存放的存储形态，有企业存储FC/ROCE SAN、IP SAN、分布式存储、以及分布式数据库本地盘一体化存储等四类，从软硬件架构、高速网络、生产制造等环节做了对比，如下图。

首先， 从计算和存储节点之间高速网络质量看，从1到4，由32Gbps的FC光纤网络或者ROCE网络等低时延无损网络，降低到IP 网络，而跨控制器节点之间的网络从1和2的PCIE通道，降低到IP 网络，因此计算节点看到的时延持续增加，性能就持续降低。

硬件架构看，1和2都是专用控制器互联，无论研发设计、采购、加工、运输，端到端全流程降低单部件故障率，可靠性最高，5个9～6个9的可靠性，3分布式存储趋近于服务器硬件，但是其软硬一体化设计制造也能保障高可靠，4是基于廉价通用服务器，外购件来源多，在设计生产制造环节相比存储低很多，硬件的可靠性逐步降低。

软件架构层面，1和2都是通过有企业级存储操作系统提升性能和可靠性：A-A均衡架构（分布式均衡架构），盘做RAID2.0池化管理，磨损均衡和反磨损均衡，Cache缓存镜像，盘超时、亚健康、故障管理加固的，热备盘空间、快照克隆等，提升系统的高可用和高性能。3分布式存储也有跨节点RAID2.0，磨损均衡，盘的可靠性加固等能力提升系统高可用。而4的分布式数据库本地盘一体化存储，就1主几从多副本，也不管服务器硬件，不管盘，底层是通用OS，有些高可用需要数据库软件来实现存的高可用能力，比如盘故障、超时，亚健康隔离，网络抖动隔离，还有基本没有多盘池化均衡能力，可能做硬RAID或者软RAID，甚至不做RAID，盘故障直接干死节点，重构慢，无热备盘。整体看软件架构的高可用能力也是逐步递减的。

另外说到成本，跟不少用户交流反馈，随着IT设备价格大幅下降，第4类其实成本更高，堆积了大量硬件资源，但是利用率低到10%以内，都是多副本，占用了大量机房空间（修建机房的速度都跟不上IT设备大规模采购的速度），能耗，电费等贼高，运维管理复杂度大幅上升，很多时候行里都难以运维，90%都依赖厂商，人力增长数倍，但是并没有带来业务的高效。古人说的话，看似便宜，实则很贵，是值得深思的地方。

难以理解，很多用户因为iSCSI性能较差和IP网络不可靠传输，数据库连IP SAN都不愿意用（10几年来IP SAN的确没有获得客户认可规模部署），其仅仅部分偏安于虚机场景，当下，在某些厂家的洗脑忽悠带动下，竟然跳到网络质量最差，性能时延最差，软硬件可靠性最低的第4种形态，即分布式数据库本地盘一体化存储。打一个类似比喻，以前核心数据库的“家”是EMC高端存储，华为高端存储，HDS高端存储，类似别墅，质量高，品质好，以前价格高，当然现在已经非常普惠，核心数据/重要数据值得拥有投入，故障率很低。现在直接跳到普通民房，可能一会屋顶被风吹翻漏雨，一会马桶堵塞，一会房梁断了，一会墙倒了，不断维修，住里面的人受得了吗？数据库要把存的高可用能力做好，哪有那么容易？本身数据库就最弱，边界还不清楚，还老想着做存的能力，想当然以为多副本就可靠？耦合在一起，复杂度极高，岂不是天方夜谭。硬件不行，软件不行，高速链路也不行，凭啥牛逼领先！

引用国彬老师的说法，一个值得信赖的系统的可用性，除了快速有效的故障处理，更重要的是单部件的极低故障率，因为凡故障必或多或少有影响。专业存储相对于廉价服务器的本质区别之一是从端到端设计、采购、加工、运输、使用全流程降低单部件故障率。不生病是最大的健康。