dawey
作者dawey2019-12-04 14:58
系统管理, 光大证券股份有限公司

基于对象存储的证券公司影像系统电子化改造方案

字数 9876阅读 6057评论 5赞 14

1. 证券公司影像电子化需求分析

在日常业务中,证券、期货公司每天会产生大量的影像资料,包括资金开户、身份证明、证券股东账户卡、业务合同(协议)、现金支票、转账支票、会计传票等,对于这些影像资料,如何进行分类、保存、归档和进行高效的查询,一直是一件棘手的事情。长期以来,多数公司对上述影像资料的管理停留在“人工分散处理 + 纸质库房保存 + 人工查询”的阶段。如何有效管理这些信息资料,提高信息的使用效率,建设“集中、统一、规范、高效”的影像资料电子化处理中心已经成为许多公司的一个重要课题。

影像资料电子化是指以先进的影像管理技术为基础,配合相关的系统硬件,将纸面的资料转换成电子影像文件,并实现自动建立索引、查询、查阅和存储等功能的一整套技术方案。通过实现影像资料管理电子化,一方面可以提高管理效率、降低管理成本,日常维护和管理仅需要较少的几个人员即可满足需要;另一方面还可以提高信息利用率。无论是远程、异地查询,还是多人信息共享,都可以从容实现,最大程度的实现信息资源的价值。

1 )登记公司检查完电子凭证后,会下发缺、漏、错的开户回报的列表,要求券商重新提交,以保证资料的完整性。登记公司对开户回报业务相关的纸质凭证的电子化管理要求使影像的管理成为一种必须。

2 )很多券商也开始加强资金账户的管理,对资金账户开户、变更等相关业务进行电子化影像管理,提高了对客户资金账户的监管力度,进一步完善客户资料的管理。

3 )实名制的开户逐渐使券商认识到拍摄开户人像的必要性,身份证件时限很长,投资者的长像可能与身份证件上的人像已不相似。开户人像的拍摄合实名制落实的更彻底,减小不必要的法律纠纷。

随着券商业务电子化程度的不断提升,证券行业对轻型营业部、虚拟云平台等概念已经熟知,并在其应用方面不断探索。另外,随着证券行业竞争不断加剧,券商和客户之间的协议类型随着增多,协议条款的变化也日趋频繁。

在上述环境下,纸质协议将逐渐不能满足证券行业的需求,面临淘汰,主要原因如下:

1) 资源浪费:纸质协议签署需一式多联,印刷成本高,为降低印刷成本,需要大量印制。使用纸质协议时,即使协议文字发生微小变化,也需要重新印制,已印刷但未签署的协议即作废,造成资源浪费;使用纸质协议也不符合环保要求。

2) 成本高:为保存纸质协议,需要租赁库房并保持适宜的环境,已签署的纸质协议更是要长期保存,仓储成本高;协议印制后需要被分发到各营业部,运输成本高。

3) 适应性差:随着证券行业业务创新的不断增多,各券商甚至券商的不同营业部都可能需要印制大量不同版本的纸质协议,而当创新业务还不成熟时,协议内容可能会经常修改,因此纸质协议不适用于创新业务。

随着券商业及互联网不断提升及,客户开户量不断提升,为了更合理的利用现有人力资源,以提高工作效率,确保网上开户客户信息的真实性、有效性,客户必须经网上视频见证通过后才能取得相应的数字证书。

2. 证券影像系统电子化改造方案

柜面业务办理,影像系统、无纸化系统和视频系统包含如下文件:

文件内容文件类型文件大小(估算)
客户人像JPEG图像约15KB
客户身份证TIFF图像约150KB(灰度)
协议原始文件PDF文件每页约80KB,按平均2页计算,为160KB;可选择不存储
协议原始文件SWF文件约80KB,可选择不存储
协议最终文件PDF文件约450KB
协议最终文件SWF文件约300KB
协议图像文件TIFF图像每页TIF文件约80KB,按平均两页计算,为160KB; 建议由无纸化生成的协议文件不存储
签字录像文件AVI视频15秒320*240视频约900KB;
见证录像文件MP4视频15秒320240视频约260KB; 40分钟320240视频约42MB

非现场业务办理,影像系统、视频系统需要存储如下文件:

文件内容文件类型文件大小(估算)
客户人像JPEG图像约15KB
客户身份证TIFF图像约450KB(彩色)
见证录像文件MP4视频15秒320240视频约260KB; 40分钟320240视频约42MB;

影像系统电子化系统架构图:

3. 影像电子化改造系统存储选择

3.1. 影像电子化的数据储存

券商的影像系统大部分使用的是新意客户影像资料管理系统( E-CIMC ),新意客户影像资料管理系统对影像文件的管理采用数据库(影像信息) + 文件服务器(影像文件存储)方式。数据库采用的 Oracle 数据库,数据存放在磁盘阵列,映像文件的存放路径信息也保存在数据库中。文件服务器用于存放影像文件,券商影像文件的存储早期主要有基于网络的 NAS 存储和基于 FC 的 SAN 存储,挂载在 Widnows 操作系统下,通过 NTFS 方式进行存放访问,文件存储路径不超过 10 层。

影像电子化系统中数据存储存储

3.2. 影像文件常用的存储类型

基于 FC 的 SAN 存储和基于网络的 NAS 存储都属于块存储。块存储可以看作为是裸盘,最明显的特征是不能被操作系统直接访问。可以通过划分逻辑卷、做 RAID 、 LVM (逻辑卷)等方式将它格式化,可以格式化为你所指定的文件系统( Ext3 , Ext4 , NTFS , FAT32 等),然后才可以被操作系统访问。常见的 DAS 、 FC-SAN 、 IP-SAN 都是块存储。块存储优点是读写速度快(带宽和 IOPS ),缺点是太过于底层,不利于扩展,不能被共享。

对象存储,相对来说是比较新的一种存储。有一种说法是这样的,对象存储一定是分布式存储,因为分布式文件存储可能是分布式存储,而未必是对象存储。常见的对象存储的开源实现有 Ceph 的 RADOS 、 Openstack 的 swift 、 AWS s3 等;常见分布式文件系统有 lustre 、 glusterfs 、 HDFS 等。表面区别:对象存储支持的访问接口基本是 restful 接口,而分布式文件存储提供的是 POSIX 兼容的文件操作接口;本质区别:分布式文件存储文件组织方式为目录树,对象存储采用的是扁平的组织方式;对象存储不支持随机读取和写入, put 和 get 都是针对整个文件。

对象存储结构:核心是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备( Object-based Storage Device , OSD )构建存储系统,每个对象存储设备具有一定的智能,能够自动管理其上的数据分布。总体上来讲,对象存储同兼具 SAN 高速直接访问磁盘特点及 NAS 的分布式共享特点。

券商的影像这类非结构化数据,其特点是单个文件字节小(只有几 KB )、文件数巨大(几千万到上亿个文件),每年增长量大,传统的 SAN 和 NAS 存储架构已不能很好应对这类数据的访问性能和成本控制需求。而基于其扁平化、拓展性强的结构特点,对象存储成为非结构化数据存储的最佳解决方案。通过对象存储替代传统的 SAN 和 NAS 存储,极大提升了非结构化数据访问和存储的效率。对象存储具有分布式存储的所有优点,灵活的拓展性,元数据的管理;通过其版本管理的强大功能,对象存储有效地规避了人为操作的逻辑错误。在性能方面, SAN 存储在处理结构化数据有着不可代替的地位;小容量非结构化数据共享正是 NAS 存储发挥作用的场景;对于海量非结构化数据,对象存储的性能优势不可比拟。此外,对象存储成本较 SAN 和 NAS 有很大优势,应对海量文件,采用对象存储替代传统集中式存储能节省不小的存储成本,避免了资源浪费。

目前,人们需求的数据越来越多,而其中绝大部分都是非结构化数据。在未来几年,非结构化更会呈现指数型增长,对象存储的需求和市场会越来越大,互联网和传统行业都离不开对象存储的发展。

3.3.EMC 的对象存储系统 EMC ECS 系列

ECS 是 Dell EMC 旗下专为要求大量非结构化数据存储容量、全局访问和云规模经济的下一代存储产品。 Gartner 最近发布了其 2019 年分布式文件系统和 Object Stora ge 魔力象限, DEll EMC 处于领导者地位。

作为 Dell EMC 的旗舰对象存储产品, ECS 专为需要大量非结构化数据存储容量,全球访问和云规模经济的下一代应用程序而设计。除了对象协议, ECS 还支持文件和 Hadoop ( HDFS )协议,使用户能够将来自多个源的数据整合到一个单一的集中存储平台中。新发布的 ECS EX 系列提供了巨大的灵活性,从较小的容量增量开始,到随着需求变化而不断爆发式增长的容量需求。

EMC ® Elastic Cloud Storage (ECS ™ ) 是一种软件定义的云规模对象存储平台,它兼具商用基础架构的成本优势以及传统阵列的可靠性、可用性和可维护性。借助 ECS ,任何组织均可提供可扩展的简单公共云服务,同时拥有私有云基础架构的可靠性和控制力。

ECS 在单一的云规模存储平台上为非结构化(对象和文件)工作负载提供全面的协议支持。借助 ECS ,可在单个全局命名空间下轻松管理全局分布式存储基础架构,并能随时随地访问内容。 ECS 拥有灵活的软件定义的体系结构,该体系结构进行了分层,以促进实现无限的可扩展性。每层均可完全抽象、独立扩展、并具有高可用性且没有单点故障。现在,任何组织都可以在自己的数据中心内实现真正的云规模经济性。

ECS 利用分布式技术和原生对象存储的设计理念,帮助证券公司较好的满足对于影像文件的访问存储需求。对于未来非结构化数据长期存储、价值利用和挖掘提供有效保障。

★ 一方面,利用 ECS 对象存储的扩展性建立新的存储资源池,降低了初期成本投入和 TCO ( Total Cost of Ownership ),并且解决了传统磁带库性能低下、可靠性不足等问题,为数据全生命周期管理、人工智能等技术在后续业务发展中的实际应用打下了良好的基础。

★ 另一方面,基于 ECS 对象存储提供的 REST 的接口以及哈希计算等方式,大大提高了图片、视频等非结构化数据的检索与访问性能,使得业务办理效率进一步提升,为信息技术对业务的赋能开创了新的天地。

在 ECS 对象存储所搭建的面向多数据源的数据湖建成之后,如何实现数据湖与原有存储与之间的互通就是下一个需要解决的问题。换句话说,有了湖、还需要有可以将水(数据)源源不断引入湖里的河流。诸如移动、云计算、大数据和社交等颠覆性技术趋势正在重新定义我们工作和生活的方式,并正在使应用程序的格局发生革命性变化。在客户接受了公共云技术的同时,他们正在继续寻找更有效的体系结构以管理当今超大规模的增长。 EMC ECS 通过采用 EMC ViPR 技术,可以提供完整的超大规模存储基础架构,满足第三平台用户和应用程序的要求。

采用 ViPR 技术的 ECS:

采用 ViPR 的 EMC ECS 应用装置 是一个完整的超大规模基础架构,为第三平台应用程序提供全面的数据存储。 它在一个平台上为对象和 HDFS 提供通用访问以及数据块协议。 ECS 应用装置 利用 ViPR — EMC 的软件定义的平台,可以抽象化、池化和自动化数据中心的底层物理存储基础架构。

ECS 应用装置 专为满足移动、云、大数据和社交网络应用程序需求而设计。 它可提供:

l 低于公共云的成本
l 满足广泛的应用程序需求的全面类型
l 无与伦比的存储效率和数据访问组合
l 具有强大一致性的任意位置读取 / 写入权限简化了应用程序开发
l 无单点故障提高了可用性和性能
l 通用可访问性消除了存储孤岛和效率低下的 ETL/ 数据移动流程

ViPR 平台

l ViPR 控制器 — 一种自动执行调配任务的 vApp 。 它支持您为一个或多个物理数据中心设置一个存储控制点。

l ViPR 服务包括:
² 对象服务 — 支持您以对象形式存储、访问和控制非结构化数据,例如映像、视频、音频和在线文档。 您可以使用 Amazon S3 、 Atmos 或 Swift API 来开发应用程序。
² HDFS — 支持您使用行业知名的 Hadoop 分发软件对存储在应用装置中的数据运行分析。
² 数据块服务 — 支持数据块级存储。

l 商用平台 — 使用商用组件构建 ECS 应用装置,以确保经济高效的存储。 基于商用系统的节点管理一组商用磁盘。 在每个节点上安装了名为 ViPR 数据连接结构的软件组件。 它提供本地元素管理器服务并用作分布式群集管理器。

硬件规格:

ECS 应用装置主要硬件规格

l 节点体系结构
² Intel x86 服务器
² JBOD 直连存储
² 每服务器最多 60 个磁盘驱动器

l 10 GbE 节点网络连接
² 机架内: 10 GbE HA 网络连接
² 通过 10 GbE 上行链路到客户网络:最高 80 Gb/s

l EMC 40U 机架式解决方案
² 4 节点和 8 节点配置
² 高可用电源

l 多种存储配置
² 每机架最多 2880 TB 的非结构化存储
² 混合工作负载存储 — 每机架最多 1440 TB 的非结构化存储,外加 120 TB 的结构化存储

配置:

ECS 应用装置 根据工作负载和存储需求提供多种硬件配置。 ECS 应用装置 支持以下工作负载:

l 对象 /HDFS ,对应 U300 、 U1500 、 U3000 型号
l 混合(对象 /HDFS 和数据块),对应 M500 、 M1600 型号

对象和 HDFS 配置

配置节点数量节点与驱动器比例驱动器数量容量
U30041:1560360 TB
U150041:602401440 TB
U300081:604802880 TB

软件组件:

ECS 应用装置包括四个或更多基于商用系统的节点,其中包括内部磁盘驱动器、 CPU 、内存和网络接口。 节点连接一组磁盘驱动器并进行管理。 EMC 在工厂中安装基于 Linux 的操作系统。 当在数据中心内部署时, ViPR 软件安装在应用装置上。

数据连接结构中的每个节点由下图中显示的组件组成。

软件层

软件层描述
基础架构包括操作系统、网络基础架构和任何诊断工具。EMC安装该层,然后才发运到数据中心。
数据连接结构用作构成分布式群集管理器的本地元素管理器。 群集是一个从单个站点中的一个机架部署到多个机架的数据连接结构。 数据连接结构负责以下事项: ·群集运行状况 — 数据连接结构汇总特定于节点的硬件故障,并报告群集的整体运行状况。 ·节点运行状况 — 数据连接结构监控节点的物理状态并检测和报告故障。 ·磁盘运行状况 — 数据连接结构监控磁盘和文件系统的运行状况。它为 ViPR 存储引擎提供了原始、快速、免锁定的读取/写入操作。 它提供有关各个磁盘驱动器及其状态的信息。 ·软件管理 — 数据连接结构具有安装和运行服务以及在群集中的节点上安装和升级连接结构软件的工具。
ViPR 服务提供数据访问和保护。 在数据连接结构安装期间,为节点分配了存储类型(可以是对象或数据块)。 通过 ScaleIO 软件解决方案实施数据块支持。

参考: EMC 技术白皮书

《 EMC ECS Appliance Specification Sheet 》

《 EMC ECS Appliance Data Sheet 》

4. 影像系统在 EMC ECS U400 测试情况

为确保 EMC ECS 存储满足影像电子化项目对存储的可靠性、安全性、性能的要求,厂商提供了一台 EMC ECS U400 存储进行实地测试。

4.1. EMC ECS 测试内容

测试内容如下 :

n 基本功能测试

u 账户管理测试

u 基本对象服务测试

² 基本对象服务测试
² 对象周期管理测试
² 对象法规遵从测试

n 可靠性测试

u 节点故障

² 硬盘故障
² 网卡故障
² ECS 内部万兆交换机故障
² 磁盘柜故障
² 节点整体故障

n 安全性测试

u bucket 访问控制

n 性能测试

下面就可靠性、安全性和性能测试情况做简单一下介绍。

4.2. 可靠性测试

4.2.1 ECS 内部万兆交换机故障

ECS 内部两台万兆交换机采用 MLAG 方式连接。

4.2.1.1. 测试方法

人为关闭其中一台万兆交换机电源,同时 ping 所有节点的 ip 进行测试。用 cosbench 连接 ECS 进行持续 50% 读和 50% 写压力。

4.2.1.2. 测试步骤

1 )使用一台能够连通 EMC ECS 节点的电脑, ping 测试 EMC ECS 所有节点的 public IP ;
2 )关闭其中一台万兆交换机的电源;
3 ) Ping 测试无中断出现; cosbench 无中断。
4 )恢复交换机电源连接, ping 同样正常。
5 )断开另外一台,出现 1 个 timeout 。 cosbench 无中断。

4.2.1.3. 测试结果

测试条目测试结果状态备注说明
可靠性测试 (ECS内部万兆交换机测试)通过

4.2.2. 节点硬盘故障

模拟硬盘故障,观察磁盘中数据是否会被损坏,并确保该对象依然能够被访问。

4.2.2.1. 测试方法

通过手工认为抽出 disk ,然后检查该 disk 上的数据自动在其他 disk 上生成。

4.2.2.2. 测试步骤

1 )使用 cosbench 进行数据的上传和下载;
2 )选择一块已经存储了对象数据的磁盘;
3 )将该磁盘从磁盘柜中拔出,模拟磁盘故障;
4 )继续进行 cosbench 的读写操作,无失败;
5 )再同时拔出 3 块盘,等待 5 分分钟后,依旧无读写失败;

6 ) EMC ECS 事件日志中将会出现该 disk 故障的信息;




7) 磁盘插入后,磁盘自动可用。可替代磁盘的更换测试。

4.2.2.3. 测试结果

测试条目测试结果状态备注说明
可靠性测试 (节点硬盘故障)通过在测试时间段中使用cosbench进行读操作,cosbench会将对应桶中数据轮询多遍,读操作成功率全为100%。

4.2.3. 节点整体故障

节点故障:直接将节点断电, ECS 正常使用。

4.2.3.1. 测试方法

通过手工拨出 EMC ECS 节点上的所有网络接口, S3 browser 能够继续使用 EMC ECS 。

4.2.3.2. 测试步骤

1 )使用 cosbench 访问 node1 的 ip 对 bucket 进行数据的读写;
2 )拔出 node4 的所有网络接口;
3 ) Hardware health 信息中可以看到 RACK 只有 3 个节点,出现一个 offline 的节点;
4 )数据传输不会出现中断;
5 ) ECS Event 日志中出现该节点故障信息。

对性能和业务的影响为 业务中断时间为 1min ( ops 为 0 )、 20s ( ops<50 )、 1min30s ( 70% 性能)、节点恢复过程中 1min 性能有剧烈波动。

4.2.3.3. 测试结果

测试条目测试结果状态备注说明
可靠性测试 (节点整体测试)通过

4.3. 安全性测试

4.3.1. 测试方法

安全性测试包括两方面的内容: 1 )桶中对象的访问控制; 2 )外网使用的网关控制。

Bucket 访问控制

在 EMC ECS 中能够对桶进行不同权限设置。从而达到对桶中的对象进行访问控制。本次测试将会选择一个或者两个属性进行测试。

对桶进行访问控制设置,所有权限开放,开放只读模式权限。测试工具 S3 browser 及浏览器 ( 浏览器要求同上 ) 。

4.3.2. 测试步骤

1 ) 使用浏览器登录 EMC ECS ,在 managebucket 中选择已经创建的桶名称;
2 )点击最右边下拉框中,选择 “edit ACL” ,检查该桶的访问属性;默认属性可读写且完全控制:

3 )使用 S3 Browser 对该桶进行读写测试成功;
4 )重复第二步骤,将访问控制权限修改为 read ,表明该桶只能够被读取;

5 )重复第三操作,该桶只能够读取数据。

4.3.3 测试结论

测试条目测试结果状态备注说明
安全性测试通过 无

4.4. 性能测试

4.4.1. 测试方法

性能测试采用开源软件 cosbench (版本 0.4.2.c4 )使用 1 台 ESXi 服务器,建立 4 虚拟机,安装 RHEL7 进行部署测试,其中 1 虚拟机为 controller 和 driver ,另外 3 虚拟机仅仅用作 driver , RHEL 安装 jre8 运行环境

4.4.2. 测试步骤

1) 每次通过编辑不同的 xml 配置文件进行以上表格不同的场景测试
2) 运行一定时间,各项性能指标稳定后截图记录数据结果
3) 评估每次测试时瓶颈所在
4) 完成各种需要的不同大小文件的写入测试后,进行相应的读取测试

测试 场景和数据 :

测试序号文件大小操作类型并发数文件数容器数吞吐量(op/s)响应时间(ms)带宽(MB/S)
12MB20020002553.63362.181107
22MB20020002564.03353.971128.096
34KB200200022029.9898.677.9
44KB200200029973.420.1238.958
540KB200200021746.08114.9268.204
640KB200200029613.8220.73375.542
7400KB20020002925.18218.43361.415
8400KB200200022713.88561060.105

4.4.3 测试 结论

测试条目测试结果状态备注说明
性能测试通过

4.5. 整体测试结果

测试内容预期效果测试结果
管理账号测试管理员账号能够进行资源创建,变更及系统监控通过
监控账户测试监控用户只能够进行监控,不能进行资源变更通过
对象账户测试桶中的对象必须使用该用户进行对象的创建、变更等动作通过
基本对象服务测试对象的创建、读取及删除操作通过
对象周期管理测试必须满足设置的数据周期管理条件才能够对数据进行删除通过
对象法规遵从测试已经写入到EMC ECS的对象将永远不会被删除通过
对象断点续传测试网络恢复后,上传自动继续,完成后的文件md5校验一致通过
内部万兆交换机测试中一台处于生成树备选链路的万兆交换机故障时,所有访问不中断,应用无感知;如果是当前使用的链路,则有短暂timeout,然后迅速恢复通过
节点硬盘故障测试磁盘故障不影响数据继续使用,EMC ECS自动在其他的节点的磁盘上生成故障磁盘上的对象数据通过
节点整体故障测试允许范围内节点故障效果与磁盘故障效果相同通过
桶访问控制测试桶设置只读权限后,该桶不能够被创建对象,只能够进行对象的读取通过

5. 影像系统电子化改造效果

在当前证券准生产硬件环境下,通过对单台 JBOSS 新意无纸化、影像系统在不同用户压力下,找到合适的最大压力值,以及此时压力下所有服务器的资源使用情况,为今后上线运维提供参考依据。

准生产环境下单台 JBOSS 测试架构

测试场景: 400 用户, 20 并发,连续 12 小时

6. 总结

证券公司影像电子化系统,借助新意成熟的影像管理技术和 EMC ECS 先进、灵活、快捷的影像存储技术。为券商网上开户、适当性等业务的电子凭证保存提供了了可靠、快捷的途径,确保了资料的完整性。强化了券商资金账户管理能力,通过对资金账户开户、变更等相关业务进行电子化影像管理,提高了对客户资金账户的监管力度,进一步完善客户资料的管理。通过影像电子化系统实现开户人像的拍摄合实名制,减小不必要的法律纠纷。

时代在变,但机遇与挑战的相生关系不变。只是大多数时候,只有迎接挑战之后才能真正抓住机遇。改造比新建更为困难,但鸡蛋只有从内部打破才会诞生出生命。在这场汹涌的数字化浪潮下,证券公司克服了非结构化数据的存储、备份、管理的巨大难题,采用全新的对象存储技术来取代传统存储整列,取代传统 NAS ,实现海量数据保存、备份和归档,让数据管理水平提高到新的台阶。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

14

添加新评论5 条评论

15305419779zxy15305419779zxy主任, 山东大正公司
2019-12-19 14:12
证券公司作为一个特殊的行业,对于影像电子化系统要求会油自己的定位和安全保证,必须保证备份、存储、管理的挑战,是挑战也是机遇。
xiaoandyouxiaoandyou技术总监, 兴业证券股份有限公司广东分公司
2019-12-18 17:25
目前金融行业都在全面推进影像系统电子化建设,诸如双录等场景,但有个问题是客户签字时用的是签字板,和实际手写的习惯有所不同,与实际签名也有差异之处,希望能持续改进。
michael1983michael1983技术总监, 某证券
2019-12-11 14:13
很详细的测试场景,目前正在做调研,非常有借鉴意义,谢谢。
haozhangsirhaozhangsir系统工程师, 银华
2019-12-11 13:39
文章对测试案例列举非常丰富,涵盖了所有可能出现的情况,对其他客户提供了有利的数据支撑。 另外是否也调研了其他厂商的产品,与ecs的性能对比。
萧强萧强产品经理, 苏宁
2019-12-10 19:42
内容整体描述还是很不错的,赞一个
Ctrl+Enter 发表

本文隶属于专栏

最佳实践
不同的领域,都有先行者,实践者,用他们的最佳实践来加速更多企业的建设项目落地。

NAS存储选型优先顺序调研

发表您的选型观点,参与即得50金币。

作者其他文章

相关文章

相关问题

相关资料