不同厂商的存储双活方案带来的性能影响有何不同,各个方案的不足之处在哪?

参与28

3同行回答

nkj827nkj827  项目经理 , 长春长信华天
建议选择比较成熟的方案,例如ibm svc需求为第一前提比如现有环境什么样子,想做什么样子。虽说产品都差不多,但是实现效果却不尽相同。假如你想做双活未来想做两地三中心SVC实现起来就是一个产品实现了换做vplex可能就需要在一个rp才能实现...显示全部

建议选择比较成熟的方案,例如ibm svc需求为第一前提
比如现有环境什么样子,想做什么样子。
虽说产品都差不多,但是实现效果却不尽相同。假如你想做双活未来想做两地三中心
SVC实现起来就是一个产品实现了
换做vplex可能就需要在一个rp才能实现

收起
系统集成 · 2017-11-10
jxnxsdengyujxnxsdengyu  系统工程师 , 江西农信
相比单存储直接提供读写来说,存储双活一定会增加读写响应时间,更别说存储还是跨两个不同数据中心的,随着距离的增加,理论上每增加100KM,会增加1ms的RTT(往返延迟时间),我们先来分析不同厂商的存储双活方案带来的性能影响:(1)IBM SVC Enhanced Stretch Cluster(ESC)和HDS GAD等IBM SV...显示全部

相比单存储直接提供读写来说,存储双活一定会增加读写响应时间,更别说存储还是跨两个不同数据中心的,随着距离的增加,理论上每增加100KM,会增加1ms的RTT(往返延迟时间),我们先来分析不同厂商的存储双活方案带来的性能影响:
(1)IBM SVC Enhanced Stretch Cluster(ESC)和HDS GAD等
IBM SVC ESC和HDS GAD的读写方式都很类似,这里就放在一起来看。
SVC ESC:
FFF2.jpg

FFF2.jpg

FFF1.jpg
FFF1.jpg

HDS GAD:
EEE.png
EEE.png

读:ESC和GAD在两个存储拉开到两个数据中心,形成AA模式的架构,对于读来说,是两个数据中心分别对各自中心的存储本地读,这样读来说不存在跨站点的RTT,读性能跟单存储是一样的。
写:某数据中心的写操作会先写到本地控制节点缓存,然后再跨站点同步至另一控制节点缓存中,并原路返回,告诉主机写操作完成,等到缓存达到一定的水位时,再刷入各自底层存储当中,这时的写操作存在1倍的跨站点RTT。当两个数据中心都要对某一数据块写操作时,会先在缓存表对应的数据块中加锁,并同步锁信息至对端缓存表,实现双活存储的写并发。所以写也是本地写的方式,性能跟单存储比是降低的。
(2)SVC HyperSwap
SVC HyperSwap的HyperSwap卷有master和aux之分,读写复杂度也高很多,master卷所在站点的主机读写是本地读本地写,而aux卷所在站点的主机读写方式是转发模式。
GGG1.jpg
GGG1.jpg

GGG2.jpg
GGG2.jpg

假设初始化后,Site1的卷为Master卷,Site2的卷为Aux卷
读:
Site1读I/O
1.主机向SVC I/O Group1的任意一个节点发送读请求
2.SVC I/O Group1将该请求传至Storage Pool1
3.Storage Pool1响应请求,并将数据传至SVC I/O Group1
4.SVC I/O Group1将数据结果传至主机
Site2读I/O
1.主机向SVC I/O Group2的任意一个节点发送读请求
2.SVC I/O Group2将该请求转发至SVC I/O Group1
3.SVC I/O Group1将请求传至Storage Pool1
4.Storage Pool1响应请求,并将数据传至SVC I/O Group1
5.SVC I/O Group1将数据回传给SVC I/O Group2
6.SVC I/O Group2将数据结果传至主机
所以可以看到AUX卷所在站点的主机需要跨站点读对端存储,存在1倍的RTT,而MASTER卷所在的主机读IO和单存储性能相差无几。
写:
Site1写I/O
1.主机向Site1的其中一个SVC节点2发送写I/O请求
2.该SVC节点2将写I/O写入缓存
3.该SVC节点2将写I/O同步至节点1缓存,并同时通过MM发送写I/O至站点2的节点3和节点4
4.SVC节点1、3、4陆续回复节点2的写响应
5.SVC节点2回复主机写响应
6.两个站点的SVC节点分别将缓存写入各自站点的存储当中
Site2写I/O
1.主机向Site2的其中一个SVC节点3发送写I/O请求
2.该SVC节点3将写I/O转发至Site1的任意SVC节点2
3.SVC节点2将写I/O写入缓存
4.该SVC节点2将写I/O同步至节点1缓存,并同时通过MM发送写I/O至站点2的节点3和节点4
5.SVC节点1、3、4陆续回复节点2的写响应
6.SVC节点2回复SVC节点3的转发响应
7.SVC节点3回复主机的写响应
8.两个站点的SVC节点分别将缓存写入各自站点的存储当中
同理,AUX卷所在站点的主机需要跨站点写对端存储,并且回写AUX卷底层存储,总共存在2倍的RTT,而MASTER卷所在的主机写IO和单存储性能相差无几。
所以很明显,SVC HYPERSWAP的SVC节点是跨站点双活,而存储则为ACTIVE-STANDBY。
(3)NetApp MCC
MCC的双活方式实际上是两个数据中心的存储互为镜像,各自提供不同的存储服务。
AAA.png
AAA.png

对于AGGX来说,为站点A的主机提供本地读和本地写,并通过集群节点的NVRAM写日志同步至站点B,维持数据一致性,也是等到日志达到水位线,刷入底层存储当中。
对于AGGY来说,也是类似,为站点B的主机提供本地读和本地写,并同步NVRAM的写日志至站点A。MCC通过这种方式实现两个站点存储的双活,MCC集群节点也是双活,但对于某一应用主机来说,实则只在一个站点活动。
性能方面,MCC的读性能和单存储类似,写性能存在1倍的RTT。
(4)SVC Vplex Metro
Vplex Metro和其他三种方式都不一样,是一种分布式的存储双活/多活架构。Vplex没有写缓存,有了分布式缓存,标榜为access anywhere
BBB.png
BBB.png

没有写缓存就意味了,主机对VPLEX的写是透写模式,主机的写IO只是经过VPLEX的虚拟化直接落入到底层存储,并在分布式缓存目录表中记录这个写IO是通过哪个VPLEX引擎写入的。当需要对该数据块进行读操作时,先是在分布式缓存目录中查找数据块是通过哪个VPLEX引擎写入的,然后再通过本地的VPLEX引擎转发该读请求至上一次写入该数据块的VPLEX引擎,通过它来读取它后端的存储,最终原路返回。另外,对于写入的IO,透穿过VPLEX写底层存储时,还将同步一份IO副本至另一VPLEX引擎的底层存储。
所以可以看到,对于某数据中心VPLEX的读操作来说,如果刚好上次该数据块的写操作时也是发在该VPLEX中,那么读是本地读,亲和性好。如果刚好上次该数据块的的写操作不是在该VPLEX,那么就需要跨站点进行读操作,亲和性弱,存在1倍的跨站点RTT;对于写,都是本地写,只不过需要将该写IO同步至另一站点的底层存储,也存在1倍的跨站点RTT。
好了,写了这么多,将几种主流的存储双活架构的读写操作流程写清楚了。简单对比如下:
VVV.jpg
VVV.jpg

由这张图可以看到:
读性能:
SVC ESC、HDS GAD和NETAPP MCC都是本地读,性能最好,而SVC HYPERSWAP和SVC VPLEX METRO的本地读不“稳定”,某些情况下,存在跨站点读的问题,增加了读响应时间。
写性能:
基本上所有的存储双活方案都存在写往返延迟的问题,最少为1倍的RTT,其中SVC ESC、HDS GAD、NETAPP MCC、SVC VPLEX METRO都存在1倍RTT,这是无法避免的,可以说是存储双活的必然问题,而SVC HYPERSWAP某些情况下,存在2倍RTT的问题,写性能影响更严重。

当然评价一个存储双活方案的好坏,不能仅从性能影响去看,更应该看重其综合能力,这里不再赘述。

收起
银行 · 2017-11-10
wuwenpinwuwenpin  软件开发工程师 , 南京
有软件实现的,有硬件实现的。显示全部

有软件实现的,有硬件实现的。

收起
互联网服务 · 2017-11-10
浏览2242

提问者

lxiaoch
系统安全工程师首创证券

问题来自

相关问题

问题状态

  • 发布时间:2017-11-08
  • 关注会员:4 人
  • 问题浏览:6448
  • 最近回答:2017-11-10
  • X社区推广