非结构化数据存取业务双活解决方案,求建议。

1 业务需求描述


         & 对于非结构化数据(例如图片等)的存取操作的应用,需要在两个数据中心至少4个点来部署,实现负载均衡及双活。



2 基础架构需求

               & 多个部署应用的客户端需要共享同一个文件系统目录,实现同时读写(对文件系统同时读写,并不是文件)。
               & 提供共享文件系统目录的后台服务可以是任何类型的服务(NFS、GPFS、CIFS等都可以)。
               & 提供共享文件系统目录的后台服务不能单点。
               & 共享文件系统必须有高的并发读写性能。
               & 双数据中心在正常情况下,需要避免应用层面的大量跨数据中心流量。


       各位兄弟姐妹,谁有好的建议,不甚感激!

参与9

6同行回答

pweypwey  系统架构师 , 中体骏彩
回复 3# haizdl     我指的不是写入问题,不好意思,我理解有误,在写入情况下,只能依靠您说的NSD LIST来控制,我说的是通过参数控制本地读的问题。    从双活角度来讲,您的数据应该同时写入两地,同一个IO无论是走server1还是server2,都是需要跨数据中心写入,才...显示全部
回复 3# haizdl


    我指的不是写入问题,不好意思,我理解有误,在写入情况下,只能依靠您说的NSD LIST来控制,我说的是通过参数控制本地读的问题。
    从双活角度来讲,您的数据应该同时写入两地,同一个IO无论是走server1还是server2,都是需要跨数据中心写入,才能保证数据一致性。我不知道我理解的对不对,如果这样,针对写入问题,双活数据中心,无论怎样,性能的损失都是固定的,如果我理解有误,咱们再讨论。收起
政府机关 · 2015-09-14
浏览1802
HYBTHYBT  系统工程师 , 存储技术有限公司
你这样的需求只能用分布式文件系统解决了或是对象存储 。目前这样的厂家解决方案也有很多。显示全部

你这样的需求只能用分布式文件系统解决了或是对象存储 。目前这样的厂家解决方案也有很多。

收起
IT分销/经销 · 2015-10-18
浏览1753
pweypwey  系统架构师 , 中体骏彩
回复 5# haizdl     不好意思,我说错了,我和以前同事确认了一下,是一个脚本,以前做项目时候用到了,我找我同事要了,需要的话,我共享给你。显示全部
回复 5# haizdl


    不好意思,我说错了,我和以前同事确认了一下,是一个脚本,以前做项目时候用到了,我找我同事要了,需要的话,我共享给你。收起
政府机关 · 2015-09-18
浏览1774
  • 多谢您的热心回复。 如果能共享给我您的脚本,感激不尽! 我的邮箱: haizdl@126.com
    2015-10-29
haizdlhaizdl  技术经理 , 大连
回复 4# pwey     多谢您的建议,您说的非常正确。    IO的写入肯定是要双写的,但是如果在存储底层已经实现了IO的双写,那么我就不希望在应用层面继续双写,因为这是双中心间的重复复制。简单点说,双中心的所有IO双写都会交给存储层来做,应用层看到的磁盘是...显示全部
回复 4# pwey


    多谢您的建议,您说的非常正确。
    IO的写入肯定是要双写的,但是如果在存储底层已经实现了IO的双写,那么我就不希望在应用层面继续双写,因为这是双中心间的重复复制。简单点说,双中心的所有IO双写都会交给存储层来做,应用层看到的磁盘是来自双中心的存储组成的一个逻辑盘。所以对于应用端的IO来讲,我们不希望它继续横跨数据中心。
    对了,您说的读的层面靠参数来控制,能不能详细赐教一下是哪个参数文件,多谢!收起
银行 · 2015-09-14
浏览1759
haizdlhaizdl  技术经理 , 大连
回复 2# pwey     您说的内部参数就可以解决流量控制问题是不是指的NSD设置server list顺序?可以将流量按顺序控制?但是这个控制的原理是根据NSD设置顺序的不同来控制IO走向,但是我现在是要根据客户端来设置IO走向,也就是说客户端写入数据的文件系统是由不同server...显示全部
回复 2# pwey


    您说的内部参数就可以解决流量控制问题是不是指的NSD设置server list顺序?可以将流量按顺序控制?但是这个控制的原理是根据NSD设置顺序的不同来控制IO走向,但是我现在是要根据客户端来设置IO走向,也就是说客户端写入数据的文件系统是由不同server list顺序的NSD组成,那么数据在落入NSD的时候必然是一部分走Server1,一部分走Server2,而走Server2的这部分流量,我们希望它落在Server1上。有没有办法?多谢!收起
银行 · 2015-09-11
浏览1829
pweypwey  系统架构师 , 中体骏彩
针对你这个问题,谈谈自己的看法:1、这三种肯定支持共享同一个文件系统目录,所以都可以支持同时读写,不过原理不同;2、从技术性能层面分析,GPFS的性能由于支持光纤网络,所以会优于其他两种文件系统,首先稳定性就会好很多。其次,你的数据是非结构化的,GPFS支持更大数据块的文件系统,我...显示全部
针对你这个问题,谈谈自己的看法:
1、这三种肯定支持共享同一个文件系统目录,所以都可以支持同时读写,不过原理不同;
2、从技术性能层面分析,GPFS的性能由于支持光纤网络,所以会优于其他两种文件系统,首先稳定性就会好很多。其次,你的数据是非结构化的,GPFS支持更大数据块的文件系统,我估计性能可以支持更好;
3、服务如果不能是单节点,NFS、CIFS肯定不满足,所以只能选择GPFS;
4、双数据中心为了避免大量跨数据中心流量,首先要解决本地读问题,GPFS有很好的解决方案,内部参数就可以解决。
综上,我觉得GPFS是比较适合你的方案。收起
政府机关 · 2015-09-11
浏览1752

提问者

haizdl
haizdl101634
技术经理大连
擅长领域: 灾备存储服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-09-11
  • 关注会员:1 人
  • 问题浏览:7514
  • 最近回答:2015-10-18
  • X社区推广