nkj827
作者nkj827·2022-11-21 13:51
项目经理·长春长信华天

银行业文件共享场景下,基于华为NAS实现非结构化数据存储方案设计线上合作伙伴赋能培训活动总结

字数 7980阅读 3110评论 0赞 5

银行业文件共享场景下,基于华为NAS实现非结构化数据存储方案设计线上合作伙伴赋能培训活动总结

在云原生技术浪潮推动下,企业级NAS有了更加丰富的适用场景。随着企业业务发展,企业级NAS文件存储以其组网简单的特性和技术更迭更加适应新场景,呈现出新趋势。企业NAS已历经二十年发展,NAS存储有其传统场景,如虚拟化、文件共享、高性能的海量小文件等等。数字化时代,人们对实时性要求越来越高,因而需要更高性能存储。针对NAS行业应用趋势,文件共享管理是NAS存储应用的另一典型应用场景。

现在有不少企业也都积极引入华为NAS存储,到目前华为NAS存储的3DC架构落地,完备的NAS存储资源池为企业非结构化数据存储系统架构优化提供了基础设施平台。通过近年来NAS存储的推广使用,企业逐渐降低了块存储使用成本,提高了存储的使用灵活度,实现不同类型业务数据的合理存储。对于那些不追求极致性能的一般文件共享场景或者是多业务系统之间文件交互场景,NAS存储可以说带来了极大的便利。此外,集中式的华为NAS存储也有成熟的双活以及异步复制解决方案,很好的匹配了企业的文件高可用性建设需求。

本期赋能培训活动主要针对在:文件共享场景下,基于华为NAS实现非结构化数据存储架构设计及实践。twt社区也特别邀请了来自银行的存储专家与华为NAS专家进行分享,帮助合作伙伴们可以更好的结合文件共享管理场景下,如何利用华为NAS实现非结构化数据存储的方案设计,满足用户场景的真实需要,解决用户所面临的问题。

交流达成的共识总结:

1) 三个实现,实现了NAS文件存储资源池的分级建设,实现了不同类型业务数据的合理存储,实现了重要业务系统对于文件存储的高可用需求。

2) 三个提升,提升了存储的使用灵活度,在RPO同为0的情况下,RTO指标得到了极大的提升,利用NAS存储构建业务系统间文件交互平台,显著提升了业务处理效率。

3) 三化,华为企业NAS在千行万业已达成数字化转型的高度认知背后,给数据存储带来了更多机遇与挑战,数据海量化、安全化、智能化成为趋势。

4) 四新, 华为与行业解决方案伙伴共同围绕数据生命周期提供的一系列场景化解决方案,覆盖多个领域,服务千行万业。从新政策、新方案到新平台、新方向。

一、在银行业文件共享场景下,如何基于华为NAS实现非结构化数据存储架构设计及实践**

1、NAS迁移有什么好的迁移方式?比如从杉存储迁移到华为5600上,一般来说,华为推荐购买那个迁移工具,这个工具是按容量来收费的。感觉比较贵,有没有其他的迁移方式?是否支持零中断的在线迁移,还是最后需要停一下机才能完成迁移?**

华为专家郭洋 回复:**

1) 华为提供了自己的一个迁移工具,华为的工具包括的功能:第一是工具的可视化,第二是有一个完整性的检查,第三是实现了并发进程的迁移,这个工具会按照您的文件目录,它进行一个多线程的并发的迁移,能有效的提高迁移速度。

2) 就是跟对端的存储进行连接之后,把这个文件从底层的存储层弄过来做一个免服务器迁移的一个方案,但这个确实是像G P F S这种它是用不了,但标准的像N F S这种它是可以用的。就是说这个方案也在孵化之中,这个迁移价格需要进一步的一个优化!

3) 从整个从业界上来看,现在都没有办法实现一个零中断的方案,最后肯定要割接那一下,它不像San有一个可以模拟的WWN,因为我的文件系统要切过来的话,它实际上要进行一个IP的转换!它要切到一个新的系统上。那么割接的时候因为您原来的链路上在跑业务,它割接的时候要再对比一下差异之后呢,再把那个最后一点复制过来,所以它是需要有一个中断的。这个流程就是一个短中断的这样一个流程。实现一个快速的割接,业界没有这样的一个零中断的一个方案。

2、小文件备份是通过快照复制来实现的吗?可以通过第二级或第三级的存储去做备份,这样不会影响第一级的存储是对的吗?**

华为专家郭洋 回复: 因为海量小文件备份在备份软件那性能特别差,所以是在阵列侧打快照,相当于就是在阵列侧又加叠加了一个复制功能,是一样的。华为的最小间隔的话是15秒。所以说它对性能影响很小,不会影响主机的整个应用。我如果需要快速恢复的话,那我肯定是在阵列之间做快照这个方案是最快的,如果您是把它复制到带库上,基本上就是一个长期的三级备份方案了。

3、NAS做同城双活时对两端之间线路的带宽有哪些要求?NAS存储双活后,两个中心的NAS都能提供读写吗?需要什么前提条件?单台故障后切换时间需要多久?**

华为专家郭洋 回复: NAS的双活切换,有三到五秒防闪断的过程,有五秒钟左右的这样的一个判断的一个流程,就是说我需要判断这两端如果是脑裂了之后,我怎么去处理,我大概有一个仲裁体系的。然后是要进行一个切换了,整个流程的时间可能就是在10到15秒左右的一个完成的时间,其次就是在带宽的要求上,如果是双活两边都要互相复制的话,那么我们觉得你这个带宽的话还是要有一些预留的,就是在单侧写的这个带宽的基础上可能再要预留个两到三倍,如果要部署双活建议采用交叉组网,这样就是切换的时候另外一侧还可以访问这一段,这样是一个比较合适的一个组网方式。

某农商银行存储工程师刘振国 回复:**

1) 平时的时候就是主存储对外提供服务。比如说你的应用,是双活的两个中心的应用服务器,我们都会是访问主存储的。比如说你主存储故障之后,这时候呢会发生切换,那这里边儿就隐形出两个问题,业务侧的网络是否打通大二层了,如果你打通到二层了,你两个站点的IP一样,那你想你NFS挂载的话,你IP都一样,那对于NFS来讲的话,短暂中断后,它很快就会恢复了。所以对于业务来讲是透明的。那如果你采用两个站点,不三层的架构,你两个站点的I P不一样?那你在发生站点切换之后NFS连接它肯定就中断了。这时候需要我们人工的去干预的,但是不管怎么样,就是你打通没打通,对于我们后端存储侧来讲,这个主从切换的时间是固定的。就是在两分钟以里,甚至一分钟左右这么一个最严苛的情况。

2) 对于这个复制带宽有一个关键点就是要看。我们前端的这个业务,同时并发的这个流量到底是多少?这个流量因为你讲它复制就包括SAN。得看你一个峰值的流量,就我们的带宽设计一定要看我们业务峰值的流量压力的情况,这也是为什么我们要建立存储侧或者说业务的性能极限的一个重要性。不仅看每天每周的这个期限,还要看季度结息、年终结算等等,这种场景我们建立不同时期的这么一个性能的极限,看我们最高的那个峰值在多少,那同时我们这个复制带宽还要应对这种突发带宽需求,比如说又做备份,或者说其它带宽需求。

如何把SVC集群的部分数据迁移到咱们的NAS存储呢?并且有没有好一点的方法能保证这个数据迁移过程的完整性?**

1) 它这种数据迁移的话,因为你NFS它也是一个目录。如果我们替换到NFS上,它这个挂载点要保持一样的话,那这么您NFS挂载的时候可以先挂在一个临时挂载点,我们采用的文件迁移方式。

2) 针对每一个业务系统做定制化的迁移方案,有的系统它可能在你迁移的当晚,他只访问当天的那个目录,对历史目录没有这个访问的要求,

3) 对过期的历史数据做一些清理,那迁移的当晚呢?我们可以针对不同的业务的特性,比如说先做这种挂载点的切换。当晚的数据就可以写在我们那个目标的那上边了,那历史的文件可以分部的迁移,比如说时间窗口很充足,这时候我们就可以按部就班的先把历史文件迁过来,再迁一些增量的文件,再做割接。

5、NAS一体化备份,是存储的功能吗?还是需要第三方备份软件配合?**

华为专家郭洋 回复:**

1) 这个生产业务里面它有很多海量小文件,所以说现在用备份软件去做这个备份呢,性能会比较差。

2) 相当于我在存储之间去做这个备份,实际上是内部的这种定期的,按照自己设定一个策略这种打快照复制过去,我最开始的时候也是把这个文件系统初始化的同步到另外一端,然后后面是按照您自己打的一个定期快照。我把它那个增量的也复制到那边,就相当于我也是把这个数据复制到另外一台存储上,它实际上是利用了中间传输的技术。

3) 备份软件得先刷一下主机缓存然后再做备份。因此会差个一分钟,或者十几秒或者几分钟这个时间的一个缺失。直接就复制过去了,就相当于一种快照之间的复制,然后复制到另外一台存储上,它是一个完整的文件系统,可以用于这边数据的恢复。那么整个过程完全是从存储这个地方走的,所以说它不需要上层的主机备份软件。就相当于是在存储层实现的备份功能。

6、你这个备份端,比如说咱备过去的数据能提供给读写吗?比如说我放开了以后能用吗?**

华为专家郭洋 回复: 您如果是断开了,您这边要用的话,这是实际上是一个容灾的诉求,它要拉起。如果是备份的话,它实际上是从备份,然后去恢复主端的一个数据,它是备份的,这个不是用来提供那个容灾拉起,它是实现这个。原来数据的一个恢复的,这个还不太一样,不能直接拉起,您如果说要这边直接拉起的话,您就走容灾就好了。它是个备份,它不是容灾的话,它涉及切换,备份它确实不涉及到这个。

二、华为企业NAS容器云环境下如何设计存储架构?

7、容器NAS容灾和双活,在支持NAS文件的同时能否支持块数据双活?**

华为专家郭洋 回复:**

1) 基本的使用是没有问题,因为所有的接入是用这个标准的CS插件首先使用是没有问题的。其次,如果您要做容器层的两个容器集群之间的灾备的话,因为我们现在主推的是NAS,所以第一步是把两个容器集群之间的复制先做了。后面再做双活NAS。

2) 因为NAS提供了跨节点的共享,可以按应用力度来整体的进行恢复,但是SAN纳在容器下,它是可以实现多读多写的。但SAN只能对接一个pv来实现。单一的一个读写,所以说它并不具备多共享一个能力,所以我们现在SAN在容器场景下,在SAN的这个集群容灾之间,我们还没有做这样的一个方案。但是在单一的容器集群下,对接使用是没问题的。

8、NAS通过创建多个租户来隔离各个业务系统,再通过一个单独的租户做多个业务系统数据交换,想了解下数据交换这块是怎么实现的?是会替代之前的数据复制软件架构吗?**

某农商银行存储工程师刘振国 回复:**

1) 我们定义了两类租户,在使用上租户是实现双活的最小的一个颗粒度。我们接触这个租户是实现了业务系统隔离,比如说手机银行,它有五台用户服务器,它有一个集群,它这台服务器集群会设计一个租户,然后这个文件系统,包括这个地址都会在这个用户里边,在这个逻辑集合里边去做,那对于不同的那个业务系统之间,我们有一个交互的租户做这个事情。比如说核心系统和周边的外围系统有交互,我们都会在这个租户底下去做。

2) 首先,我们都通过不同的网络区域来接入这个存储!通过建立不同的区域,比如你的核心区,其次,在前端业务上我们不要让它过强,这样保证性能。那文件交换怎么做呢?它实际上因为你的所有的文件都落地到你这个文件系统上。只不过在文件系统的不同目录,你从前端的程序设计上来讲,实际上你都可以看到了。你所见即所得,你都在这一个挂载点之下。那么我们不同的子目录去放置这个不同业务系统的这个文件。

9、将部分算力下移到NAS上进行,是否意味着主机至存储的带宽会增加,主机侧包括网卡在内是否需要扩容或改造?**

华为专家郭洋 回复:**

1) 因为NAS可以替换整个NFS及其以下的层,所以说是把操作系统下面的这些层的这些相关的功能可以移到存储上面来。然后来释放上面的一些算力,是这么一个互补的过程,然后,比如说像容器或这种场景下,我就可以把多节点的共享卸载,在这个存储上来做,一旦我把一些功能卸载在存储上面来,是不是会进行这个带宽的增加,我们现在来看大量的我们跑的这个业务,企业业务还是以这种IOPS为主,它跑带宽的都比较少。

2) 其次,这个网卡这个地方,我们现在也没有发现这个瓶颈。您的业务多了之后主机侧的方法,因为现在这个NAS还是在每一个上面的主机那个端口绑定下面一个ip在跑,实际上是能力没有完全跑起来的。那我们希望后面通过我们的私有客户端,我们现在也在研发一个私有客户端,就是把主机层的那种。这种卡能够聚合起来,然后跟存储这边实现能够把整个的带宽跑得更高一些,能够利用的这种性能更高一些,我们也在做这个事。

3) 所以说现在的这个卡其实没有太大的改造的,现在的实际情况是很多的业务性能也没有跑满。那么现在只是说多业务系统之后呢,你可能说针对不同的业务系统要给他配张卡,但是他不是说需要另外的新类别的这种卡,这个不需要就现有的几种卡就可以了。

10、比如说你防病毒的功能,如果这个防病毒功能是否能够替代客户已有的这种。在主机侧这边实现的相关的产品。**

华为专家郭洋 回复:**

1) 首先您必须要有一个杀毒软件,这个杀毒软件比如说是瑞星或者是卡巴斯基,它还是得有,因为他最终是负责查杀的?负责处理这个策略,比如需要扫描哪些文件,我可以把这些文件。在你读写它之前,是及时的或者定期的,我能够在下面直接把这个通路跟杀毒软件开开。开开之后它就从我的存储上面就是杀毒软件,类似一个主机对我的存储进行读写一样。就相当于他直接跟我下面来交互来读写查杀,下面的这些文件就不需要从主机上面把这个文件读出来,就不需要消耗主机上面的这个资源了。不需要上面跟每一台去交互,只需要跟下面一台存储交互。

2) 他的客户端就是说在存储跟存储会在。杀毒软件的那台服务器或者几台服务器上不属于一个客户端,有一个交互就可以了。

3) 有卡巴斯基、趋势、赛门铁克、还有几家是做了兼容性认证的。跟瑞星形成了一个端到端的方案。但是兼容性上跟上面都对接过的有七八款。

11、请问华为存储NAS双活是2个控制器同时接收读写吗?还是本端逻辑端口激活承载业务,远端不承载业务?切换是基于租户pair关系还是,整体切换到对端存储?**

华为专家郭洋 回复:

1) V五系列的存储当时只支持一个站点的阵列在读写,另一个站点是属于一个的状态。但到了V六这一代,它实现了两端都可以,就是两个站点的控制器都可以去读写的功能。您也可以按照业务需求把它部署成一端读写的也行,这个功能线都有都支持。就是在V六这一代有一个增强。

2) 现在有一个域的概念,最终是在V六这一代会做跟V五一样,按照业务这种租户的力度去。整个的做切换,那我们现在第一步做的是比租户域稍微大点儿,我们定了一个双活域,把几个租户一起切过去,后面呢会把这个做成更细力度的租户,租户域把它再切过去,都可以做!

12、如果把NAS接入云计算平台是否有类似OpenStack的开放api接口,还是自己专用的api接口?**

华为专家郭洋 回复: 华为云去对接的时候有一些功能的一些列表,因为上层跟下层有一些功能的列表,就基于这样的接口来实现的,然后其他的云。只要是基于或者说我们其他的平台,所有的对接存储它都有这样的一个接口,这个其实对于对接存储是非常非常容易能够实现的,就关键是看这个整个平台是什么,如果这个云是基于OpenStack的话,它用标准的这种接口,我们都可以对接的上去!

13、什么级别或者程度才需要冗余?**

华为专家郭洋 回复:**

1) 就是备份存储,有一些比较重要的业务客户要求做完备份之后我们可能就结束了,但是有些客户他做完备份之后希望备份的存储上面他再做一层容灾,因为你的备份如果说是在本地的话,它也希望有一份异地的一个容灾保护,这个就是看我们的整个业务的等级,以及您的这个数据中心有几个数据中心的这样的一个建设要求。这个方案在存储上面,它都是非常灵活的,就看您的要求是什么样子的?

2) 我们现在有复制又有一体化备份,如果您是两个数据中心的话,您的这个备份。您可以跟那个容在做到一起,在两个数据中心之间一起做,这样的话,既有了容灾,又有了备份,可以这样去做。

14、华为多控制器的存储集群要求控制器同型号吗?还是像Netapp可以不同型号组成松耦合的集群?华为的这种产品的生命周期,现在是怎么做的呢?比如说这套华为的存储。我运行了五到七年,可能要替换吧,即使是替换成华为的存储,它也是要做一个数据的迁移是吧?**

华为专家郭洋 回复:**

1) Netapp从最开始的单控到后面的集群模式,这个多节点的集群来分担整个业务的压力,后面是不同型号组成松耦合的集群,实际上是它一个生命周期管理的一个策略,就相当于是我可以把不同的型号不同代次的弄到一个集群里面。然后我在这个这个老的阵列要过保,或者说要退出的时候,我把业务在线的迁移到另一个新的阵列里面来,或者说我进行了业务的扩容,我新来了一个阵列之后,我把业务进行了一个分摊。它其实是做了这么一个功能。

2) 实际上这也是我们在下一个版本要做的一个主要的功能。我们会支持这个功能的。但是我们现在的集群跟松耦合的集群还不太一样,我们现在支持的这个就是集群里面。您现在买了六八的两控,您要扩到四控那我本身是一个四控的引擎,您插两个控器就行了。

3) 比如说您要扩到16控,它是一个同型号的这样一个阵列,因为这个同型号的阵列就是大家所有的负载,所有的版本都是一模一样的,我们可以根据您的这种业务的一种模式或者压力,像这种集群模式,它是多个阵列之间,它上面是一个集群的,要管理多个阵列之间这样的一个关系,这样的一个集群。

4) 我们刚才所说这个它其实是一套阵列,只是这一套阵列之间,它有多个控制器。多控器部署在不同的的引擎上,跟这个集群可能还不太一样,但是您说的这个netapp的,这个集群的功能,我们在下个版本就会把它做出来。

5) 在这个V三V五那一代就是说确实是您说的,比如说生命周期到了以后,我有一个免服器的快速的迁移的功能,把它迁移到这个新的阵列上面来,但是从V六这一代开始再往后V七V八所有的生命周期,就会像netapp这样子,我们会通过这样的一个集群的方式来实现,在线的集群的扩容跟集群的缩容来做这个生命周期。然后这个时候它就可以在线的去迁移,这样的一个控制器,因为我们明年才演进到V七,所以这个功能也是明年一起推出来!

15、华为的多控的存储它是每个16控的一个集群都在一个框吗?还是分不同的框?控制器要跟后端的盘柜的每个盘都都有互联吗?比如说两控跟一组盘有互联连,另两控跟一组盘有互联。如果是到八控16控,那也要直连吗?那盘柜上得出多少线呢?**

华为专家郭洋 回复:**

1) 是在四个机框里面,四个引擎的机框里面,然后之间是通过高速互联来联通的。我们先说一个高端的架构,高端的架构就是四控一个引擎,如果您只有四控的话,它在后端的这个盘上面这四控是可以访问到后面所有的盘的,它是实现了一个后端大卡的一个功能,叫共享卡。如果说是八控两个引擎,我们也实现两个引擎,里面的八控能够看到同样的硬盘。

2) 在这个八控上我们实现了这样一个功能,但16控上就是两个八控,下面是共享磁盘的。不是16控多共享磁盘就是您说的这个架构是我们下一代演进的一个架构。下一代就是说连线的话,就像您说的是非常非常复杂的,那么我们实际上下一代的话会在交换机上实现这个功能。就是在盘的连接以及控制之间的互联,我们会用交换机来解决这个问题,这样的话您的连线就非常的简单了。

3) 您说的这个问题就是我们下一代要做的一个事情,当做了16控,或者说更多的控制器,这样互联之后。那么我们实现的,其实只要盘下面的数据是共享,那我们上面的引擎故障,实际上我们都可以去保证前面的业务连续性,那么现在V六这一代我们实际上实现的是把控。也就是两个引擎把控,那么一个引擎故障的时候,另外一个引擎还可以继续的提供业务服务,实现了一个引擎级的数据保护,再下一代,我们会实现多引擎的数据保护,那连线上的话就是有了交换机之后就不会有那么复杂的连线了。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

5

添加新评论0 条评论

Ctrl+Enter 发表

本文隶属于专栏

活动总结
活动总结是社区交流活动内容的总结及延伸,为大家提供了社区专家们丰富且高水平的理论知识、实践经验以及常见问题的最佳解决方法,非常值得大家收藏学习。

作者其他文章

相关文章

相关问题

相关资料

X社区推广