随着数据量和数据类型增多，银行原先的存储资源规划对满足现在数据需求已经不尽合理，例如文件类的数据有的在FC-SAN存储上，这样不仅会给数据库类的应用带来性能干扰，同时对于文件类的数据存储成本也较高。鉴于此，城商行需要合理规划资源池，核心从两个维度：
一是不同类型的存储资源池，例如SAN存储、NAS存储、分布式文件存储和对象存储，然后梳理不同类型的业务数据，针对不同业务场景合理使用响应的存储资源池。
二是不同级别的存储资源池，例如高端、中端、低端存储资源池，全闪存和混闪存资源池。对于不同等级的业务系统，以及考虑到业务数据生命周期管理，对于不同活性的数据要统筹考虑存储的性能和成本，选择合理级别的存储资源池。

为了帮助城商行针对如何从全局视角合理规划和建设存储资源池，twt社区在2月28日组织“大数据背景下，城商行如何进行合理的存储资源池规划及建设？”线上同行交流活动，社区邀请到城商行存储技术专家、戴尔科技存储技术专家进行在线交流，本文的总结梳理主要通过这几个方面：
一、城商行不同类型的数据存储；
二、不同类数据存储的特点和适用场景；
三、存储资源池的选择规划；
四、异构存储存储管理和网络规划；
五、数据的迁移方案；
六、交流达成的共识总结。
希望本场的交流能给同行带来帮助和参考。

一、 城商行不同类型的数据存储

随着银行数字化转型的深入，海量的数据需要得到保存和处理。不同类型的数据对存储的要求不同：有些数据对存储的性能要求高；有些数据的数据量大，增长快速；有些数据经常需要被分析、挖掘，而有些数据只需要被保存......。就中小城商行而言，如何在大数据背景下，根据数据特性进行存储的规划?

1、传统机构各种应用层业务数据类型的梳理，如何进行有效划分，大数据背景下应如何有效制定符合自身实际的梳理、划分规则？

嘉宾：menglunyang 系统工程师 , 中国银行
1.数据类数据
数据类数据主要指应用系统运行产生的数据，包括结构化数据、半结构化数据和非结构化数据。其中，结构化数据主要指基于关系型数据库的数据，该类数据通常具有数据量较少、增速较慢等特点，同时对读写性能和可靠性的要求较高。半结构化数据主要指基于NoSQL/NewSQL数据库的数据，该类数据通常具有数据量较大、增速较快等特点，同时对读写性能和可靠性的要求较高。非结构化数据主要指文档、日志、票据、影像、视频等归档数据，该类数据通常具有数据量较大、增速较快等特点，同时对读写性能的要求相对较低。

2.应用类数据
应用类数据主要指应用系统、虚拟化、容器、VDI等数据，该类数据通常用于支撑系统运行，数据量相对较小，且增长速度较慢，对读写性能的要求相对较高。

3.备份类数据
备份类数据主要指备份文件和脱敏数据，该类数据通常仅在需要进行数据恢复或数据脱敏时才被读取，因此对读写性能的要求不高，同时具有数据量较大、数据增速较快等特点。

嘉宾：hf_0535 系统工程师 , 城商银行
1、结构化数据
各类数据库数据
2、非结构化数据
日志数据：交易日志、应用、数据库和主机等的运行日志；
过程数据：应用处理过程中产生的过程数据， 用于应用不同节点间和不同应用间的数据传递；
影像类文件：各类应用处理产生的扫描文件，业务凭证扫描、证件扫描等；
录音录像文件：保存的录音录像文件

2、中小城商行如何在大数据背景下，根据数据特性进行存储的规划？

嘉宾：amany 系统架构师 , zes
经过这几年的发展，大数据存储的技术已经很成熟了，可以考虑规划一个统一的存储数据底座，在这个底座上，支持把结构化、非结构化数据都放在一起统一访问。考虑数据的访问效率，可以把数据分层存储，数据在各层间自由流动，实现效率、成本最优。同时，数据格式上可以考虑统一起来，比如新兴的批流融合、湖仓一体等等，一份数据，一种格式可以支持多种业务场景，减少数据搬移和重复存储。

嘉宾：iCece 高级系统工程师 , Dell
根据业务类型分类，核心资源池（一般由集中式高端存储组成，主要存储核心应用（高性能 DB ）类）、通用存储池（由通用中端存储组成， 存储一般类应用 ）、备份资源池、公共大数据资源池（由分布式文件存储、对象存储池等组成，）、测试开发资源池（一般利旧存储）等；对于一些新型的应用（比如互联网类应用、移动应用等）也可以考虑建立分布式计算存储池，计算存储一体化，有更大的扩展性。

3、在核心系统升级改造时，核心存储资源池应该如何选型考虑？

嘉宾：twthaizi 系统运维工程师 , 某城商行
存储选型考虑的点很多，架构、性能、容量以及稳定性等等，不同角度出发有不同的结果，自然到全闪时代，肯定得配上全闪的存储设备，在IOPS、响应耗时方面都是传统SAS无法比拟的。可以从这个点出发考虑一下，存储是数据的最终流向，对于核心存储的级别，更多需从上层架构出发考虑，存储需要和本地数据中心的双活、灾备建设的架构相融合。

嘉宾：iCece 高级系统工程师 , Dell
稳定可靠是关键，可靠性 / 稳定性 / 可管理性，任何产品在这三个方面都需要积累和沉淀，才能从 99.99 到 99.9999 。这不可能通过宣传就可以 得到客户认可，是经过长期实践才会被客户及市场接受。

嘉宾：qixiaoding 架构师 , 戴尔科技金融行业解决方案中心
稳定可靠，持续稳定地输出的能力，但不一定是市场上最快的产品
某用户的话 “用了3年，我都不知道它的存在”，潜在台词：没有发生过任何故障、没有到过性能问题。

4、关系型数据做存储替换的难点和痛点有那些?

关系型数据做存储替换的难点和痛点有那些?

嘉宾：小书童78 高级解决方案架构师 , 戴尔科技
关系型数据通常指数据库类的数据，对于数据库的存储替换而言，方法上比较多样。
比较多的是基于数据库自身技术、系统卷管理、第三方复制软件等；也有部分基于存储做数据迁移。
以Oracle数据库为例，

1. 可以基于Oracle自己的ASM，操作系统卷管理功能，做底层数据卷的镜像；通常主机、IP、实例等不变。
2. 也可以采用类似ADG，GG或第三方工具，复制的方式做；需另建库，换主机+存储时采用的多一些。
   难点和痛点不同客户有所差异，一般比较关注：
   a) 前期验证替换后的性能、稳定性；
   b) 迁移替换持续的时间、对业务的影响、最后的切换窗口时间。

如果变动是跨数据库的迁移替换，比如Oracle迁移到MySQL+存储替换， 就更复杂一下，需要更系统的分析了。

嘉宾：qixiaoding 架构师 , 戴尔科技金融行业解决方案中心
选择存储设备：容量、性能、稳定性，如何达到一个平衡状态。
实际操作中，面临
数据库技术路径的选择：数据库会不会变成开源的
存储技术路径的选择：分布式 vs 集中式
迁移前，运维的基线状态
迁移方案，迁移大量数据如何减少停机时间
迁移成功后，日常运维如何保证数据的安全性，例如有没有快照功能，能不能灾备，能不能快速备份。

5、数据平台类系统数据存储选型？

数据平台类系统数据库包含大量历史数据，存储容量要求高，晚上跑批要求速度快，时间短，混闪有较高的性价比，但是混闪数据分层算法的普遍不理想，全闪又贵，如何进行选型？如何平衡性能和性价比？

嘉宾：小书童78 高级解决方案架构师 , 戴尔科技
全闪是一个大趋势，对于较大数据量的跑批业务可以考虑具备压缩去重功能的全闪存储，性价比较高。
后续几年随着QLC的逐渐成熟，成本或进一步下降，可能会形成SCM+TLC/QLC的层级化闪存模式。

嘉宾：iCece 高级系统工程师 , Dell
IDC 中国外置存储市场报告数据显示， 2020 年，全闪存存储的中国市场占比达到 18.9% ，增速达到 24.0% ，高于全球市场的平均增长率 17.5% ；但相比于全球占比达到 39.9% 的市场情况来看，中国市场仍需加快全闪存存储的应用。

再来看看工信部 2021 年有关新型数据中心发展 3 年行动计划的发文：有三大重点任务（产业链稳固增强、绿色低碳发展、安全可靠保障）。以数据为中心，构建新型数据中心“新存储”新存储、新网络、新计算、新能源是新型数据中心的灵魂。工信部《新型数据中心发展三年行动计划（ 2021-2023 年）》的三大重点任务（产业链稳固增强、绿色低碳发展、安全可靠保障），将全面推进新型数据中心新存储的发展。建议新型数据中心全闪存存储占比 50% 。

从这些趋势来看，建议转向全闪存存储，全闪存存储性能优，机柜占用少，绿色节能，有效容量等优势，收益性价比会比混闪更高。

嘉宾：qixiaoding 架构师 , 戴尔科技金融行业解决方案中心
用全闪。早用早受益。
大胆预言，最终所有的外置存储都会变成全闪

6、大数据平台存储规划？

目前企业除了原有的NAS文件存储，对象存储，块存储之外，还有建设大数据平台或者数据中台的需求，如何规划大数据平台的存储，大体估算此类存储的建设和扩容规模？

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心
品具备良好的开放性，兼容业界标准。
强有力的厂商支持是对城商行的重要保障。
兼容多种协议，便于数据湖的互联互通和数据的综合利用，减少数据搬移和重复存储。
存算分离是趋势，解决数据快速移动，实现计算、存储弹性扩展，按需配给。

嘉宾：twthaizi 系统运维工程师 , 某城商行
目前看到大数据平台或者数据中台都有比较成熟的产品，基本是分布式架构，产品本身都是一站式的解决方案。其中大数据平台可提供数据采集、加工和分析等全套构建服务，架构特点是横向扩容相当便利，冷热数据是分离的，初期按照数仓容量的规模和历史数据的保存周期去评估问题应该不大，就算无法准确评估容量，后期按照集群方式去扩容即可，随着规模的增大，机房机柜的容量也是需要关注的问题。

嘉宾：JanXC 系统架构师 , nec
大数据平台一般采用x86服务器搭建，可以不用采购专业的存储吧。但是随着存算分离的发展趋势，大数据存储也的确成为一个要考虑的问题，首先存储要能够快速易扩展以应对数据量的快速增长，其次要提供全面的文件存储、对象存储和块存储，同时要有统一管理平台。另外目前表流程的存算分离是采用云的方式，如阿里云的oss、aws的s3.

嘉宾：大牛0915 高级解决方案架构师 , 戴尔科技金融行业解决方案中心
业内大数据平台建设的方向是存算分离、批流一体化，存储不在是简单的数据存放，更要结合大数据系统的业务模型，减少数据流动、降低数据副本数、考虑历史数据生命周期归档长期在线可访问等，Dell Isilon+ECS 数据湖解决方案就是不错的选择，后续线下可详聊

二、 不同类数据存储的特点和适用场景

块存储、文件存储和对象存储各自具有不同的特点，在城商行的具体使用中，有各自适用的场景，嘉宾对此做了详细讨论并分享了自己的看法?

1、各类存储资源池有哪些特点和适用场景？
嘉宾：shaowh 咨询顾问 , 神州数码
高性能资源池（SSD、NVME、SCM）：性能卓越，造价昂贵，适合性能要求高，数据量不大的业务
性能资源池（SAS）：性能及造价适中，适合大部分业务场景，例如虚拟化，数据库，NAS
容量资源池（SATA）：性能低，容量大，适合备份，归档，NAS
混合资源池（SSD+SATA）:性能高，容量大，配置灵活，适合绝大多数应用场景

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心

2、在城商行业务中，分布式文件存储和对象存储当前的主要应用场景有哪些？

在城商行业务中，分布式文件存储和对象存储当前的主要应用场景有哪些？

嘉宾：qixiaoding 架构师 , 戴尔科技金融行业解决方案中心
应用数据交换、云原生应用、大数据应用、备份、影像、文件、OA、邮件、财务、GIS、行情、咨讯、存储资源池，分级存储。

3、根据存储类别与技术特点分析如何划分应用数据存储位置？

传统存储与分布式存储以及块存储、文件存储和对象存储如何根据应用数据类型划分。

嘉宾：amany 系统架构师 , zes
一般情况下，分布式块适合做业务的资源池底座，比如虚拟机、容器镜像存储等；
分布式文件适合高IO访问场景，支持数据快速访问，高效率处理。而对象有很好的扩展性，适合用来做大容量的数据归档、离线分析等业务。

4、集中式全闪存存储是否适合大数据平台数据存储？

随着闪存价格的下降，国产全闪存存储的价格已可以为非关键系统大规模使用了，凭借全闪存存储的高压缩比和重复数据删除比 ，是否可以替换传统分布式NAS存储了？

嘉宾：qixiaoding 架构师 , 戴尔科技金融行业解决方案中心
考虑下面几件事情，再做决定：

1. 非结构化存储存的是什么？如果是影像和扫描件，由备份软件备份的备份数据，压缩和消重的效果不会特别好。
2. 非结构化数据的使用方式。是频繁的读写，还是一次写多次读？频繁读写会对存储的处理能力提出要求，一旦超出了全闪存储的处理能力，主要指存储控制器的能力，后续怎么办？
3. 数据规模。包括容量和数量。例如，要保存1亿个文件，而且只能在一个文件系统上，传统NAS不适用这个场景。如果用全闪存储做底座自己搭建NAS，就是这个场景。
4. 数据移动。如果存在大量数据的移动，包括数据分层和业务之间批量的数据移动，这个效率怎么保证
5. 数据共享和用户管理
6. 容量限制
7. 多协议共享数据

三、 存储资源池的选择规划

按照不同类型的数据、不同类型的存储，如何制定存储资源池的规划，有哪些注意事项，如何使得容量、效益最大化，具有哪些优势。大家进行了详细的探讨。

1、存储资源池规划选择？

对于不同等级的系统，在考虑投入产出、性价比前提下，如何有针对性划分不同级别的存储资源池

嘉宾：hf_0535 系统工程师 , 城商银行
不同等级的系统对存储的需求通常不同，可以按照重要性划分高、中、低端存储。也可以根据性能需求的不同划分不同性能的盘组，满足差异化的需求。

嘉宾：zhangleo 系统工程师 , Cpic
划分不同级别的存储资源池是有必要，可以通过重要性、性能、容量等维度进行规划。

2、存储资源整合需要注意哪些事项？

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心
做好性能和容量需求数据的收集，确保整合后不会出现性能溢出，预留足够资源富余量，保持架构的弹性。
应用的类型、保护等级等属性是否一致，如核心生产类、外围渠道类、测试开发类等资源池建议统一设计规划。
容灾保护级别最好一致，否则容易增加整合管理的难度和复杂度。
对于旧设备，参考设备生命周期管理，从使用和管理的总体拥有成本（TCO)来考量，决定是否继续使用旧设备，还是更新。通常新设备会带来新的技术，更高的性能密度比及更小能耗和空间消耗。

嘉宾：hf_0535 系统工程师 , 城商银行
存储日常运维，扩容的需求较多，可行的话，尽可能简化运维，降低后续维护的工作量

嘉宾：小书童78 高级解决方案架构师 , 戴尔科技
需要根据业务特点进行前期梳理、规划；结合行业法规要求、业务的重要性、性能要求、数据特点等要素进行区隔和整合。

3、存储资源池规划及建设应该与银行的数据治理相结合，具体分析一下要怎样实现这个结合？

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心
根据中国银保监会发布的银行数据治理指引，银行的数据治理应遵循的四大原则：
（一）全覆盖原则。数据治理应当覆盖数据的全生命周期，覆盖业务经营、风险管理和内部控制流程中的全部数据，覆盖内部数据和外部数据，覆盖监管数据，覆盖所有分支机构和附属机构。这意味着存储平台必须能够承接在银行数据治理全生命周期过程中的各种类型的数据，以及满足这些数据的全生命周期的存储要求，保障治理需求的落地
（二）匹配性原则。数据治理应当与管理模式、业务规模、风险状况等相适应，并根据情况变化进行调整。这意味着存储平台的规模与架构应与之相匹配，并具备灵活调整的能力。
（三）持续性原则。数据治理应当持续开展，建立长效机制。这意味着存储平台必须具备长期发展的能力，具有良好的投资保护、技术的延续性。
（四）有效性原则。数据治理应当推动数据真实准确客观反映银行业金融机构实际情况，并有效应用于经营管理。这意味着存储平台能满足随时访问，就地分析的要求。

嘉宾：hf_0535 系统工程师 , 城商银行
数据治理的一项内容就是数据的生命周期管理，存储资源池的规划建议与数据的生命周期管理相结合，数据在线使用阶段、在线归档查询阶段、离线归档阶段按照使用情形的不同，综合考虑成本和运维等因素建立资源池，满足各阶段各类数据的存取需求。

嘉宾：amany 系统架构师 , zes
这是个好问题。银行拥有海量的数据，数据的类型也很多，面对海量、多种类的数据，如何高效率的存储和使用，是银行的IT部门需要一直考虑的问题，这里要兼顾成本、效率，运维，节能等等一系列复杂的因素，对数据存储资源池的规划要合理统筹。
银行的数据按类型分，有结构化的数据，也有很多像文本、图片、视频、语音这样的半结构化或非结构化数据，这些数据的存储，访问和处理，都有不同的方式。规划存储池时，需要将不同类型的数据选择不同的存储设备，以实现成本和效率的最优配置，更好的支撑业务诉求。结构化的数据以实时分析决策为主，需要支持数据高并发、低时延访问，规划独立的高性能存储池，一般情况下，数据的访问频次是按数据的鲜活度逐步下降的，对于长期存放、访问频率比较低的数据，放在高性能存储池上不仅拉高存储成本，也影响数据的访问效率，这时需要规划分层存储，把低频访问的数据拿出来，规划独立的资源池存储。
对非结构化数据，一般需要先加工处理后再使用，对数据访问的接口协议也和结构化不同，需要规划独立的资源池，同时要考虑成本、碎片化文件高效读写等一系列问题。
这样，银行就会有多个数据存储资源池，如何把这些分散的数据拉通，高效访问？需要在数据治理时通盘考虑，规划统一的元数据目录，业务可以不用提前感知数据存放的位置，做到按需取用，同时，要考虑数据在不同存储池之间的流动，数据存放位置的变更实时刷新到元数据目录。对数据存放的格式可以考虑尽量通用化，实现不同的业务可以共享一份数据，减少数据重复存储和搬移，这样可以有效控制成本。
以上是我的一些粗浅建议，供参考。

4、大数据背景下，如何做好集中式存储、分布式存储的存储资源池占比规划？

嘉宾：hf_0535 系统工程师 , 城商银行
按照业务类型进行存储空间的需求分析，按照需求做占比规划。

嘉宾：匿名用户
可以按照业务类型进行分类分析，比如按照核心系统、外围系统这些维度等进行划分，根据分类选择集中式存储还是分布式存储，一般情况下核心系统对时延敏感且数据量不大的结构化数据可以选择集中式存储，如果是针对大数据分析、AI处理、影像系统等可以选择分布式存储，然后可以按照容量需求进行资源占比的划分。

嘉宾：小书童78 高级解决方案架构师 , 戴尔科技
IT系统最重要还是支撑业务的快速、平稳运行。
不论是关系数据库、大数据、AI等场景，我们先结合业务的特点来分析IT要求。
比如某些交易日志，数据量不大，但前端应用需要该日志写入存储后并反馈给主机，才算完成处理，否则业务会等待，那么存储的选择肯定更多考虑低延时+高可靠，相对而言选择集中存储可能性高。
某些日志或影像文件，延时要求不高，但数据量大、保存时间长，那么可能选择分布式存储可能性高。
当然，现在有一些分布式存储在性能方面也不错，那么可以结合应用的部署、访问方式，具体的再分析、测试验证。

5、大数据时代，对于中小商业银行如何规划存储资源实现最大化利用？

中小商业银行科技资金投入有限，如何规划存储资源实现最大化利用？

嘉宾：小书童78 高级解决方案架构师 , 戴尔科技
此外，个人看法，其实中小商业银行更应该在保障安全稳定的前提下，尝试新技术应用。这样才可能在资金、人力都相对匮乏的情况下，紧跟大部队、甚至弯道超车。

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心
可对存储数据从数据类型、可靠性、可用性、维护性（ RAS ）、性能、可扩展性等维度进行资源分类，并结合系统业务需求与现有存储资源进行多维度的匹配调研分析，确定现有资源池容量、性能、容灾能力等属性可否满足，如果不足，看能否进行扩容或升级；如果资源富余，看能否利用做数据的置换、整合等；上述情况都需要具体情况具体分析，做好数据收集和调研，制定方案，最终在满足性能可靠性等要求的同时，达到相对合理的存储资源利用率指标，或者说资源的最大化利用。

6、存储容量分配原则才能达到最佳比例？

当前环境下，各种高性能存储逐渐进入使用，但是由于其价格高昂还不能全部替代低性能存储，请问应该按照什么样的原则合理分配存储容量，达到最佳比例？

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心
如果有客户实际数据访问分布的数据，那最佳的比例就是按实际情况进行划分，但如果暂时没有准确数据，可先按2：8原则进行设计。同时，存储平台应具备动态资源调整的能力和弹性。在运行一段时间后，再根据实际情况进行调整和设计。

**嘉宾：shaowh 咨询顾问 , 神州数码
**
存储容量的分配取决于业务系统对于存储性能的要求，存储资源池主要分为高性能层（SSD），性能层（SAS），容量层（SATA或NL_SAS），在构建存储资源池时，可以考虑采用混合池模式，利用存储的自动分层的功能可实现冷热数据的自动迁移。混合池的磁盘配比没有最佳比例，通常一个混合池中的高性能层比例不少于5%，建议比例为10%到15%之间。

嘉宾：robert1908 项目经理 , troy
大概统计一下业务，把使用频率最高的业务数据放在高性能层，其他数据和一些备份数据放在性能层和容量层。

7、存储资源池怎样实现动态扩容、动态分配？

嘉宾：iCece 高级系统工程师 , Dell
现在存储厂商一般都支持精简配置和超分配的功能（ Thin Provisioning ），精简配置必须支持动态扩容， 自动精简技术可以虚拟提供超过实际的容量空间给上层，即让操作系统认为可以使用的容量大于实际提供给它的实际容 量。 随着企业数据量的增加，企业可以考虑情况分步增加存储设备，不需要对操作系统进行调整。目前 DELLEMC 的高端存储 Powermax 和中端存储 Powerstore GUI 管理界面也都提供容量趋势预测分析功能，管理员可以根据容量趋势情况，均衡存储容量或者提前扩容存储。

嘉宾：leizi 售前技术支持 , 中国移动
阵列或者服务器的存储池都是采用LVM逻辑卷管理，LVM呢将物理磁盘或者RAID给出的LUN作为PV（物理卷），将多个PV组成一个VG（卷组），再将卷组划分为多个小块为PP，PP组成LP，最后LP组成LV，操作系统最终识别到的就是LV，是一个虚拟的逻辑磁盘，这样做的目的是规避单盘容量限制，二是LVM是在操作系统层面处理的盘的管理，而不是从底层进行管理，这样就可以灵活的删减容量添加容量而不影响业务运行，硬件层面无法实现对盘的灵活管理，如增删等，要进行增删就需要在底层操作，这样就会影响到操作系统层面识别到的盘，进而影响系统运行。
分布式存储基本采用都相同的思路，都是由软件屏蔽底层硬件的特性，再将虚拟盘挂载给操作系统，盘的增删都是由软件层面实现的，操作系统只需要识别就行

8、实现存储资源池化、云化转型的好处？

实现存储资源池化、云化转型在投入成本、运维成本等方面有好处吗？

嘉宾：qixiaoding 架构师 , 戴尔科技金融行业解决方案中心
资源池化，不等于降低投入。选错技术方向，运维成本还有可能上升。
典型场景：大数据应用初期建设，采用开源软件加服务器自己搭建的方式，这种做法需要维护从应用到基础架构整个技术栈，包括故障和优化。相比传统运维，运维压力上升了。

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心

1. 存储资源池化可消除数据孤岛，是存储自动化的基础和必经之路。
2. 引入存储云平台管理技术可提升运维和管理效率。

9、建立了存储资源池后，以后新老存储设备替换以及异构存储替换是不是更容易了？

建立了存储资源池后，以后新老存储设备替换以及异构存储替换是不是更容易了？请问有没有什么成熟的方案

嘉宾：iCece 高级系统工程师 , Dell
对于集中式存储替换来说，新旧设备替换主要还是数据迁移方案（比如基于主机的或者基于存储的迁移方案），对于分布式存储来说，以 dellemc 存储为例，集群内部可以不停机增加节点，亦即可以做到不中断的更新替换。

嘉宾：qixiaoding 架构师 , 戴尔科技金融行业解决方案中心
不建议脱离技术和产品讨论存储资源池
资源池是一个概念，具体怎么搭建，是一个还是多个设备，都与产品和具体的技术有关。
例如，存储虚拟化是资源池，软件定义也是资源池
替换与维护不太一样。
维护，同种设备故障，或扩容，本质上技术没有变。有资源池，维护会容易。
替换，可能存在不同的技术更换。比如FC到IP。替换，资源池不一定容易。

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心
现在优秀的产品，都有完善的升级替换方案。以DellEMC的PowerStore、PowerScale、ECS等存储平台为例，都能够实现在同一集群中跨代共存，无缝替换、迭代。

四、 异构存储存储管理和网络规划

随着银行业务发展，各存储厂商所使用的存储种类和型号越来越多，面对众多的产品，如何在建立资源池的过程如何进行异构存储资源的纳管，存储相关网络如何规划，如何实现对存储资源的快速高效管理，大家进行了相关经验的分享。

1、同类存储资源池，如何实现异构统一管理？

嘉宾：iCece 高级系统工程师 , Dell
目前存储厂商提供的异构管理的功能主要有两类：一种是虚拟化网管类产品（如 DELLEMC Vplex ， IBM SVC ），一种是存储产品自带的异构虚拟化功能。
DELLEMC VPLEX 是一款真正的虚拟化的存储平台，实现多站点，异构存储整合，统一管理。 VPLEX 是一款分布式、全冗余的存储硬件产品，用来对现有数据中心中已有或者边缘存储资源（ DELLEMC 或者第三方存储阵列）提供集成的访问与扩展的平台。简单来说，就是整和 DELLEMC 和非 DELLEMC 存储，提供跨地域的单点数据访问与数据迁移。

嘉宾：gy199188 高级咨询工程师 , 神州数码
全面开放的存储虚拟化解决方案，对异构存储环境进行整合，将各种不同品牌的异构存储阵列虚拟为统一的资源池，消除数据边界和供应商锁定，提供快速且轻松的数据获取、镜像、迁移、快照和复制，从而实现对存储资源全面的统一管理、数据保护，以及本地/远程的容灾与双活数据中心。通过虚拟化整合异构的存储资源，全面提升存储利用率、管理效率、数据可用性、系统可靠性，同时降低运营成本。

嘉宾：twthaizi 系统运维工程师 , 某城商行
存储资源池化，也是一种类比虚拟化的概念，基本是利用水平层叠模式，接管不同品牌、型号、接口的存储设备，打通存储设备间的各种壁垒，实现跨设备存储资源集中调度。要实现池化，基本就需要万金油的接口，业界成熟的解决方案是使用存储网关实现，存储池化后可以应用压缩、消重等高级特性，保证存储资源的高效利用与可靠管理。当然池化的优点也很明显，但需要考虑到是性能问题、兼容性问题以及后续的运维管理问题。

2、存储种类和型号越来越多，有没有一种好的方式可以进行异构存储管理，提高管理、维护效率？

嘉宾：iCece 高级系统工程师 , Dell
DELLEMC VPLEX 是一款真正的虚拟化的存储平台，实现多站点，异构存储整合，统一管理。 VPLEX 是一款分布式、全冗余的存储硬件产品，用来对现有数据中心中已有或者边缘存储资源（ DELLEMC 或者第三方存储阵列）提供集成的访问与扩展的平台。简单来说，就是整和 DELLEMC 和非 DELLEMC 存储，提供跨地域的单点数据访问与数据迁移。

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心
做好规划，划分数据类型、业务级别、存储需求类型等。
定制服务目录，按业务需求匹配存储资源。
注意定期淘汰旧设备，考虑设备技术更新置换，轻装运营，节能环保。
异构跨平台的存储管理，基于开源开放技术的，自主可控的平台是方向，不要依附于某个产品厂商的产品（可以借助他们的服务能力）。

嘉宾：gy199188 高级咨询工程师 , 神州数码
Dell EMC VPLEX 提供连续的数据可用性和数据移动性，因此组织可以确保业务关键型应用程序的正常运行时间，并创建一个易于管理和重新配置的敏捷基础架构

1 | 连续可用性
VPLEX 在本地或远程建立应用程序数据镜像，使应用程序能够在计划内或计划外宕机期间无缝地故障切换到镜像。无论中断是由洪水或地震等自然灾害、人为错误还是硬件组件故障引起的，VPLEX 都能使企业保持正常运转而不会受到影响。

2 | 移动性
VPLEX 支持将数据从一个阵列移动到另一个阵列，或从一个存储层移动到另一个存储层。所有这些移动均可在应用程序处理请求时无中断地进行。VPLEX 移动性功能提供了一种敏捷、灵活的基础架构，您可以按照最优资源利用率在其中放置数据。

3 | 无中断技术更新
在应用程序处于联机状态且业务运营持续进行时，VPLEX 可以无中断地将所有数据从旧阵列迁移到新阵列。VPLEX 支持即时购买新存储阵列，因为它以非常高效的方式执行迁移，不必提前几个月购买阵列。

4 | 双活数据中心
VPLEX Metro 允许应用程序同时在两个站点上进行读取/写入。此功能可提高资源利用率，因为第二个站点上的基础架构不是仅出于故障切换目的而处于空闲状态，而是由应用程序主动使用。双活还意味着 VPLEX Metro 提供等于零的真正恢复时间目标 (RTO) 和恢复点目标 (RPO)。这意味着您可以立即从故障中恢复。

5 | 无单点故障
VPLEX 群集节点和跨 VPLEX Metro 配置间的所有连接性完全冗余，确保防止单点故障的出现。

6 | 支持高性能阵列
VPLEX 非常适合高性能全闪存阵列，采用 16 Gb 光纤通道前端、后端和 WAN COM 互连以及 InfiniBand 技术，支持群集内通信。

7 | 适用于全闪存的 VPLEX
适用于全闪存的 VPLEX 是一种基于 VPLEX 群集引擎大小的软硬件组合定价选项。您可以通过添加 Dell EMC 全闪存阵列来扩展由 VPLEX 管理的数据，而不会产生额外的软件许可费用。

8 | 无中断升级
采用新技术非常简单 — VPLEX 为新版 VPLEX 软件 GeoSynchrony 和新一代硬件平台提供无中断升级。

9 | 端到端管理选项
VPLEX 系统附带了 Storage Monitoring and Reporting (M&R) for VPLEX，可提供所有 VPLEX 组件的深层视图以及长期趋势分析数据。为了加深了解，您还可以使用 Dell EMC Storage Resource Management 来管理 VPLEX，利用监视和报告功能来深入了解基础架构的性能表现。

10 | 专用资源
VPLEX 不需要来自应用程序主机或底层阵列上的计算资源，因而可以更大限度地提高数据可用性

嘉宾：大牛0915 高级解决方案架构师 , 戴尔科技金融行业解决方案中心
异构存储管理必须首先考虑设备兼容性和维保，设备逻辑管理可以整合，但设备的保修还要依靠品牌原厂。
另外一点不同性能不同年份的存储不要整合在一个资源池内，以免 发生木桶效应，建议将同年份同性能的存储对应业务分级，建立金银铜不同级别的存储资源池，与之对应提供服务。
异构FC SAN 存储管理方案可以考虑Dell Vplex，NAS 异构存储管理方案可以考虑Dell DataIQ 将非结构化数据集中管理起来。

嘉宾：hf_0535 系统工程师 , 城商银行
可以考虑采用VLPEX或者SVC之类的存储网关设备，社区有相关材料介绍

嘉宾：吴知 解决方案架构师 , NA
可以试试HW最新推出的一款数据管理软件DME，不仅可以进行异构存储管理，还可以纳管计算（服务器）、网络（交换机）等资源，功能还是比较完备。

3、基于存储域的网络规划应关注哪些方面？

基于存储域的网络规划应关注哪些方面？如何做好基于存储域的网络规划？

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心

存储域网络设计通常分为IP网和san网：

1. IP网的网络设计除了遵循一般的最佳实践之外，还应考虑存储上网络接口的发展，比如现在25g40g已经是主流接口，包括未来的100g都应该在存储网络设计中应该考虑到问题。
2. SAN网络方面，除了要遵循san的最佳实践之外，还应充分考虑慢设备的问题和对新技术如nvmeoF支持的问题。

嘉宾：iCece 高级系统工程师 , Dell
对于集中式存储SAN 网络（ FC 、 IP ），考虑未来的可扩展性和新协议的兼容使用，新协议兼容比如 NVMEOF （ NVME Over Fabric ）；现在大部分存储厂商已经开始支持了 NVMEOF 。

嘉宾：qixiaoding 架构师 , 戴尔科技金融行业解决方案中心
多机房，是否有核心，是否有多跳的必要，速率低的硬件不一定便宜，故障多发做好监控
最佳实践：一跳即可，监控链路质量，端口状态

4、存储资源池建设中要考虑光纤交换机以后的替换吗？

存储资源池建设中要考虑光纤交换机以后的替换吗？

嘉宾：twthaizi 系统运维工程师 , 某城商行
光纤交换机自然是存储区域网络的是核心部分，不过业界可选的品牌不多，基本是两家的OEM，不过通讯协议是一致的，与存储的通讯基本没有问题，后期的替换考虑沿用旧的zone配置方式，使用级联方式替换即可。存储资源池建设中更多考虑接入设备的数量，光纤交换机的端口是否足够以及后续扩容替换的机柜空间是否充裕。

嘉宾：david15c 系统工程师 , 戴尔科技金融行业解决方案中心

1. 如果原有架构中的SAN网络已经做了充分的设计，则只需要考虑端口数量和速率的因素。
2. 如果原有SAN架构未做整合，是基于烟囱式的SAN，则建议尽早考虑。

嘉宾：大牛0915 高级解决方案架构师 , 戴尔科技金融行业解决方案中心
需要考虑，SAN网络是数据中心的核心和基石，需要考虑带宽、端口数、稳定、互联，建议统一规划。

嘉宾：iCece 高级系统工程师 , Dell
要考虑光纤交换机兼容性，一般现在存储厂商前端主机接口普遍支持到了 32G FC ，更快的通道能够充分发挥存储性能，避免通道瓶颈。

五、 数据的迁移方案

对城商行应用系统来讲，大多需要7*24小时不停机运行。存储资源池建立后，需要将原数据迁移至当前存储资源池中，如实现数据快速、高效、无缝和平滑的迁移是大家比较关注的问题。

1、热温冷数据迁移路线规划？

热数据、温数据、冷数据，三类不同的数据通常建议不同级别的存储进行保存，可能是存在不同品牌产品，不同档次型号的存储上，有没有比较好的产品或者方案，能自动实现几类数据的分析、迁移？

嘉宾：qixiaoding 架构师 , 戴尔科技金融行业解决方案中心
最理想的架构是一套资源池搞定热温冷数据，数据不出池，即在资源池的边界处无数据移动。
这种思想是设备内部存储分层思想的延续，主要是为了解决客户的初始投入成本问题。
下面以Dell的PowerScale为例，说明怎么处理热温冷数据：

1. 统一提供一个单一文件系统，处理所有非结构化数据的多协议请求，包括NFS、CIFS、HDFS、S3
2. 设备本身是分布式的，提供分布式处理能力，多个节点分担压力
3. 每个设备单元/节点可以有性能和容量的区别，可以随时任意扩展任何类型的节点
4. PowerScale的OneFS软件实现 热温冷 数据的自动分层，比如全闪节点存储热数据，混合节点存储温数据，外置接口连接S3或备份设备或公有云存储冷数据。

2、将数据迁移到新的存储资源上，有哪几种数据迁移方案？

嘉宾：twthaizi 系统运维工程师 , 某城商行
这个应该各家都有丰富的实践，存储迁移第一要素是保障数据完整性。对于集中式架构的存储来看，如果本身接入存储网关，借助存储网关迁移自然是很理想的方案。下面从应用场景来说一下一些实践过的迁移方案：

1、存储用于数据库场景：可以使用操作系统层面的LVM Mirror（AIX平台则可以用mirrorvg，splitvg等）、类似ORACLE数据库层面的ASM或者ADG迁移；
2、存储用于X86虚拟化场景：可以使用虚拟化平台层面的Storage Vmotion实现；
3、存储用于NAS等非结构化场景：可以用厂商的存储同步复制、异步复制等技术。

嘉宾：hf_0535 系统工程师 , 城商银行
同构存储设备，存储厂商通常有相应的解决方案，异构可以借助VPLEX之类的存储网关。但存储层面迁移对LUN大小有限制要求。

嘉宾：孙伟光 IT顾问 , 中国金融电子化公司
主流迁移技术对比,各自都有自己的应用场景和特点，最终还是根据实际情况进行选择。

嘉宾：匿名用户
主要的是存储虚拟化迁移方式，这种方式相对成熟，如果已经采用了存储网关，可以直接利用虚拟化的q在线lun迁移方式，安全方便。如果没有网关，可以将旧存储虚拟化到新存储，这也是存储设备利旧的主要方式。
还有采用数据库和文件迁移方式，在新环境搭建新的新的数据库和文件系统，采用数据库adg方式搭建新库，文件进行恢复。

嘉宾：lzg21st 存储工程师 , brcb
这个一般来讲是视场景定方案。但总的来说，通过存储虚拟化方式迁移可以实现对业务透明迁移，先把原存储从主机移除（涉及停业务），然后虚拟化方式挂接在目标存储后端，之后新存储映射给主机后，恢复业务，后续就是存储后端的在线迁移了。如果不用存储侧的迁移方案，比如说业务场景是oracle数据库，使用的是asm，那么可以用磁盘组扩容和缩容的方式，通过磁盘组在线rebalance实现数据迁移。对于lvm vg的场景可以采用mirrorvg/unmirrorvg的方式来迁移。也可以灵活使用migratepv基于单个磁盘的数据迁移方案。总之，在做数据迁移方案选择时，最重要的是数据安全，包括迁移前，迁移过程中和迁移过程后，迁移前做好方案的编制和评估，过程中做好数据迁移监控，过程后对原数据要做好留存，以便快速回退。

嘉宾：陈宇 系统工程师 , 某银行
1，存储层方案：使用存储设备或者存储网关设备的复制功能进行数据迁移
2，虚拟化层方案：使用虚拟化平台迁移功能例如VMware的storage vmotion，容灾复制等功能进行数据迁移
3，操作系统层方案：使用lvm建立镜像拆除镜像功能就行数据迁移
4，数据库层方案：使用数据库备份恢复，数据库复制等技术就行数据迁移
5，应用层方案：由研发团队根据应用业务逻辑设计数据迁移方案

嘉宾：cpc1989 存储工程师 , 某保险公司
存储层方案：SAN存储可以通过lun镜像拷贝，NAS存储可以snapMirror，原理上就是先同步拷贝数据，再拆除数据拷贝关系，一般来说，迁移效率最高；
服务器层方案：物理机可以做磁盘对磁盘拷贝，VMware可以虚拟机做迁移存储的VMotion；
操作系统层方案：在操作系统层做LVM镜像；
应用层方案：数据库可以做ADG，OGG等数据复制，文件目录可以使用rsync工具同步，基于备份软件的备份复制方案，基本是把源数据读出来，再拷贝到目的存储上，一般花费时间最长。
这些方案各有侧重点，可以从迁移效率，停机或在线迁移，迁移安全性等多个方面评估选择方案。

嘉宾：王巧雷 系统工程师 , sino-bridge
聊几个自己做过的，不停机，或极短停机的：

1. 基于存储的，用v7000的vdm做迁移，其他厂商也有类似的。好处的停机时间短，改下拓扑映射后面就可以在线做了
2. 基于os的，前些年的aix lvm，不需要停机，完全在线做。
3. 基于VMware的storage vmotion，也是不停机的迁移。
4. Oracle数据库，使用asm添加删除磁盘的方式，也是做了在线迁移，选了业务低峰时段做的
5. 基于复制技术的，ogg

其他停机时间长的：
基于备份软件或手工的备份恢复；跨平台数据库的导入导出。

嘉宾：zzy3620 系统环境管理 , 北部湾银行
1、通过存储自身能力，例如lun拷贝，存储网关拷贝等；
2、通过应用软件自身的拷贝和迁移，例如数据库ADG，vmware VDR等；
3、通过操作系统进行vg镜像，lv mirror等；
4、离线备份恢复，例如nbu

匿名用户
1、块存储的数据迁移方式：①有存储网关的情况下，通过存储网关重新映射原有存储盘，但原有操作系统盘符往往会变，支持后台限速在线迁移，迁移工作量小；②没有存储网关的情况下可以用LVM数据迁移migratepv和数据复制拆分mirrorvg、splitvg方式迁移。X86系统多数用虚拟化的vmotion迁移或者数据库的asm磁盘副本或替换方式。
2、nas存储数据的迁移：如果不使用厂商迁移服务的话可以用rsync工具，支持复制和迁移，迁移速速比较慢。
3、对象存储数据的迁移：可以从应用层用oss jdk的语法复制数据。

3、如何VMAX/DS8000系列等老一代高端存储，平稳迁移到PowerMax？

嘉宾：大牛0915 高级解决方案架构师 , 戴尔科技金融行业解决方案中心
Dell 实施团队 ，提供专业的付费数据迁移服务，可针对不同场景不同主机平台不同存储，定制化选用适合的工具（基于主机端、数据库端、存储端）进行数据的迁移和数据完整性验证，确保平稳迁移PowerMax存储，并可提供性能检测，观察更换存储后对业务对性能的变化。

嘉宾：hf_0535 系统工程师 , 城商银行
老存储的数据库平稳的迁移方式建议还是采用应用层或者数据库层迁移，常用的数据库有数据库备份和恢复，数据的导入导出，这样从应用层可以梳理可用的数据，减少迁移的数据量，同时，对新存储的LUN划分等可以做新的设计掌控。
也可以直接从存储层迁移，优势在于不需要应用人员干预，VMWAX 至PowermaxEMC有对应的工具迁移，两者也可以挂载VPLEX下，通过VPLEX层做数据迁移。

嘉宾：iCece 高级系统工程师 , Dell
简要来说，有以下几种方式：

1. 基于主机的迁移：可以使用操作系统层面的 LVM Mirror 、数据库层面可以使用 Oracle 的 ASM 或者 ADG 、虚拟化平台可以使用 storage vmotion 功能等等；
2. 基于存储的迁移：使用存储虚拟化网关如 Vplex 或者使用 Powermax 的迁移功能，包括无中断（ NDM ）迁移、 ORS 、 PPME 等；

可用于开放式系统环境的数据迁移功能包括：
Non-disruptive migration
Open Replicator
PowerPath Migration Enabler
Data migration using SRDF/Data Mobility
Space and zero-space reclamation

对于大型机环境， z/OS Migrator 提供从任何供应商存储到 PowerMax 、 VMAX 全闪存或 VMAX 阵列的无中断迁移。 z/OS Migrator 还可将数据从一个 PowerMax 、 VMAX 全闪存或 VMAX 阵列迁移到另一个 PowerMax 、 VMAX 全闪存或 VMAX 阵列。

嘉宾：张文正 系统工程师 , dcits
建议通过存储虚拟网关来实现存储层上的迁移，可以通过vplex实现

4、存储资源异构迁移实施？

存储资源池异构管理模式，进行数据迁移时，如何对各类型数据统筹管理、平滑过渡处理

嘉宾：iCece 高级系统工程师 , Dell
用户如果使用了存储异构虚拟化网关设备对异构存储进行了统一管理，比如 EMC Vplex 或者 IBM SVC ，可以通过虚拟化网关设备实现数据中心内或者跨数据中心间的数据迁移。比如将数据通过 VPLEX 从一个存储阵列（同厂商同类型，或者不同厂商不同类型的存储阵列）迁移到另外一个、将应用从一个数据中心迁移到另外一个数据中心。

嘉宾：zhangleo 系统工程师 , Cpic
结构化数据一般使用软件层进行迁移，比如虚拟化层、数据库ASM层、操作系统层；

5、如何将数据从传统NAS存储替换成分布式对象存储？

如何将数据从传统NAS存储替换成分布式对象存储？

嘉宾：twthaizi 系统运维工程师 , 某城商行
分布式对象存储类比标准接口的数据库，对接应用的都是接口，因此关键还是应用能不能配合做改造

嘉宾：qixiaoding 架构师 , 戴尔科技金融行业解决方案中心
以不同厂商的视角，对这个问题的答案是不一样的。
例如，以Dell的PowerScale为例，这个问题不存在。
再如，传统的NAS存储替换成Ceph，最靠谱的方式还是从应用层去做数据迁移。由应用写段代码或脚本。

六、 交流达成的共识总结

通过本场银行同行的交流活动达成了一些交流共识如下，仅供参考：
（1）城商行按照数据类型划分结构化数据和非结构化数据，不同类型可进一步细分。不同存储资源池具有不同特点，满足不同类型数据的使用需求。
（2）存储资源池规划提前做好应用类型、 保护级别、性能和容量等需求数据的收集，然后制定存储资源池的规划。
（3）异构FC SAN 存储管理方案可以考虑Dell Vplex，NAS 异构存储管理方案可以考虑Dell DataIQ 将非结构化数据集中管理起来。
（4）数据迁移根据具体的使用场景可以选择存储层、虚拟化层、操作系统层、数据库层和应用层不同的解决方案进行数据迁移。