制造企业如何设计云平台存储架构？

概述

在大数据、云计算、物联网等新技术的发展下，我们已经从信息时代迈入数字化时代。

信息技术已成为最活跃的生产力要素，促使生产模式发生重大的变革，引发互联网经济蓬勃发展。作为企业数字化转型的基础与支撑，得到了企业高层的高度重视。

随着数字化在各个企业的深耕，服务于大众吃、喝、住、行、用等多个方面，每天源源不断的产生巨大的数据量,为企业的运营提供有力的决策，数据已经成为决定企业命运的核心资产。数据量呈指数级的增长已经成为常态，对存储设备的需求量也直线上升。

市面上存储品牌多、类型广、空间大，几乎涵盖不同业务场景的不同需求，那么如何挑选适合自身业务发展需要的存储已经成为I T部门在大数据时代关注的话题之一 。

越来越多的企业开始踏上数字化转型之路 ， 存储是 数字化基座内重要的组成部分，是云计算或者基础设施中重要的基础架构。它的可靠性、高可用性和安全性直接决定了数字化建设的成败。

针对存储架构的需求分析

据I DC的预测 ，2 020年全球就有 6 0 % 的企业把数字化转型作为公司发展的战略核心 。这就要求企业不断扩大其外部数据来源，粗略估计，外部数据的利用将是内部数据的4- 6倍 ， 尤其是来自市场消费端的数据 。 随着物联网 、 大数据 、 云计算 、 人工智能等技术的发展 ， 我们已经从 I T时代进入到了 D T时代 。利用大数据技术深度 挖掘数据的价值 ， 助力企业数字化转型 。

针对数据存储架构 （本文主要讨论集中式存储和分布式存储） 的需求也自然成为企业关注的焦点之一 ，在数字化转型背景下，对存储的需求量直线上升，无论是基础的数据存储还是容灾备份的需求。那么到底哪些业务适合集中式存储？哪些适合分布式存储呢？

IT到DT时代的转换

如今，企业不仅关注数据本身的价值，更关注数据再次加工和利用后的价值，正所谓一切皆可量化，你能想到的一切都可以数据化，可以说我们已经从信息化时代进入到大数据时代了。虽然时代发生了变化，但是唯一不变的是数据都需要存储。

大数据时代的背景下 ， 数据的类型不仅是关系型数据 ， 更多的是来自端侧的非关系型零散 、 琐碎的数据 。 如图片 、 语音 、 智能终端数据 、车载数据、 物联网数据等 。 而具有数据量大 、 即时性强 、 高可用性强 、 扩展灵活的需求 。传统集中式的存储架构，已经不适应大数据时代背景下业务的全部需求。这时存储在此类场景下的“软实力”就变得尤为重要了。

传统工厂到智能工厂的转换

虽然说大数据时代的背景下，存储需要“软实力”，也就是我们常说的软件定义能力，如分布式架构的存储。但是并不意味着集中式存储没有用武之地。

分布式存储架构在对象存储方面的确优势无可厚非，但是任何技术架构都要看其两面性，很多企业依然会在某些核心领域沿用集中式存储，尤其块存储泛滥的传统制造业。

随着制造业的传统工厂向智能工厂转换的过程中，诸多分散的生产系统将进行合并，关系型数据库中的核心数据通道将被贯通，对存储的性能和高可用性要求非常的高。

传统行业中，更多的采用集中式存储用于核心数据的存储，主要以oracle为主的关系型数据库或数据仓库。对于此类数据库而言，集中式存储是非常有优势的，无论是在高可用性上还是性能上。

分布式存储服务应用场景分享

为更好的让大家理解分布式存储的主要应用场景 ， 我将简单介绍一下分布式存储的特点 ， 并以某制造企业为例 ， 分享分布式存储服务如何助力企业数字化转型 ，为 打好坚实的数字化底座提供重要支撑 。

分布式存储的特点

在大数据背景下，万物互联成为现实，越来越多的数据从内、外部系统或资源采集并存储，用于深度的数据价值挖掘。由于集中式存储价格昂贵，扩展灵活性等原因，无法满足数据海量存储的容量要求和实时存储的性能要求。为此，分布式存储架构得到了飞速的发展，其主要特点主要包括但不限于：

l 大容量

分布式存储架构中的每个存储节点都可通过网络进行连接，对存储介质无太多要求，甚至是X 86架构的服务器都可以作为存储节点 ，按照用户的实际需求进行横向扩展，甚至是无限扩展，通过软件定义形成一个统一的共享存储池。

l 高性能

聚合各存储节点的IOPS和吞吐量，性能高出集中式存储数倍，可以随存储节点的扩容而线性的增长。通过存储管理软件，可以快速且精准的定位数据和检索数据，满足前端业务快速响应的需求。

l 高可靠

分布式架构 实现多副本机制，整体上无单点故障，数据安全和业务连续性得到保障。基于软件定义的存储策略，可实现存储设备级冗余。同时针对硬件设备故障，可在线更换损坏的硬盘或存储节点。

l 易扩展

按照实际需要可实现动态且在线的存储节点横向扩容，自动实现负载均衡，确保数据均匀分布于不同的存储节点。基于软件存储策略，任何一个存储节点的上线和下线对前端的业务没有任何的影响，操作完全是透明的。

l 低成本

无需采购高昂的专用存储设备，采购X 86架构的服务器作为存储节点 ， 结合存储管理软件 ， 即可形成分布式存储架构 ， 提供灵活 、 可靠 、 安全的数据存储解决方案 。

案例分享

某传统制造企业已开始围绕客户为中心的理念进行多年的数字化转型 ，为了更好的了

解用户的画像，获悉用户最真实的意见和想法，将其快速的反馈给后端研发，生产出更适应当代市场的产品。公司在业务系统上进行了软件架构的重构，采用微服务架构建设端到端的应用系统，用于第一时间听到用户的心声。

随着架构的开放 及 业务形态的变化 ， 终端侧数据呈现出种类多 、 体量大 、碎片化的特点。同时在服务上也对及时性有更加苛刻的要求，现有的集中式数据存储方案无法达到业务的需求。时常出现：

l 数据增长快速，撑爆存储，紧急扩盘，周期长

l 数据过于碎片化 ，传统存储分区过大，导致检索速度慢，无法及时响应前端业务需求

l 前端存储数据不仅局限在传统的结构化数据 ， 目前 8 0 % 的数据都是非结构化数据 ， 如图片 、 声音 、 短视频等等 。 导致传统存储性能无法满足业务需求

总之，无论在扩展能力上、存储容量上还是性能上都不能匹配业务需求。为此集团通过大量的市场调研和实践应用，最终决定引入分布式存储解决方案助力业务转型。

集团采购了数套分布式存储设备，利用周末两天替换了C端业务的后端集中式存储，完成系统对接。通过近一周的试运行：

l 性能上大幅度提升，对于碎片化数据的处理能力明显上升，基本满足C端应用的响应要求

l 由于主要是 X 86架构的存储节点 ， 所以管理员可以根据需求高效扩展 ，而且成本极低

l 更适合C端软件架构的环境，提升非结构化数据存取效率

集中式存储服务应用场景分享

为更好的让大家理解集中式存储的主要应用场景 ， 我将简单介绍一下集中式存储的特点 ， 并以某制造企业为例 ， 分享集中式存储服务如何助力企业数字化转型 ，为 打好坚实的数字化底座提供重要支撑 。

集中式存储的特点

在大数据时代 ， 集中式存储虽然已经无法完全适应各种新兴业务的数据要求 ，如大数据分析平台、物联网平台、零散型数据的存储业务等。 但是集中式存储架构独特的技术特点仍然是企业核心业务中数据存储不可缺少的部分 ，尤其是在传统企业中。 如ERP 、 CRM 、交易型系统的核心数据库平台。从字面的意思不难看出，集中式存储就是说将数据集中存储在一个地方，架构特点：

l 部署简单

集中式存储架构的最大特点就是部署简单 ，主机头集中负责各个存储模块的统一管理与控制，无须考虑如何对服务器进行多个节点的部署和多个节点之间的分布式协作问题。

l 横向扩展

集中式存储的扩展能力受限于主机控制器的对外支持能力 ， 扩展盘数量不能无限增加 。 但是可以满足基础的传统业务需求 （传统的核心业务）。同时，传统存储针对各个应用系统提供分散的存储空间，相互独立，毫无关联。

l 性能稳定

集中式存储架构的性能主要依靠前段控制器的性能，所以性能上相对平稳，无法超过厂商限定的性能瓶颈。

l 管理简单

提供单一的管理界面，实现统一磁盘管理（分配-使用-消亡）和存储系统的管理。

案例分享

网上关于集中式存储是否还有使用场景或者说是存在的价值一直都有争论，虽然传统存储的架构不够灵活,扩展能力也相对较差，应用场景也逐渐在萎缩。但是由于它天生IO路径短,单体性能较好的特点,非常适用于对延时要求非常高的核心数据库场景。

某制造企业作为国内知名的汽车制造公司，在工业互联网的大背景下 ，着手进行数字化改革 。 工厂也开始 逐渐从传统工厂向智能工厂转变 ，旨在通过现代化的 、 自动化的生产能力 ， 提升生产效率 ，降低运营成本 。

工厂由于历 史 原因，深度采用 SAP 、 微软 、Oralce、西门子等大厂的解决方案用于核心应用。各个业务单体相对独立，均通过标准的接口进行服务对接。这就意味着数据存储也相对独立，各自为政。但是随着智能工厂的提出，各大应用系统的数据呈现指数型增长。数据种类也复杂多样，有的用于工厂生产，有的用于质量控制、有的用于工厂可视化，重要程度可想而知。但当前所有的数据均存储在一个使用超过5年的集中式存储上。现有存储采用机械盘与闪盘混搭的形式使用，所以在I OPS上可以有效支撑这些传统应用的使用需求 。但是毕竟是单点工作，若控制器或者其他核心部件发生风险，将直接造成不可估量的损失。为此I T部门决定通过寻找一种高可靠的方式实现数据的备份 ， 确保当出现 “黑天鹅”事件时，可以第一时间保住生产不断。

为此I T部门 通过与友商的学习及与成熟存储解决方案厂商的沟通，最终决定继续使用集中式存储解决方案从物理上实现数据级的核心数据备份。简单来说就是另外采购一套相同配置的集中式存储，通过内置的物理级存储复制功能，定期对制定的数据卷进行复制。从而实现数据的异地备份。此方法既简单又可靠，充分发挥了集中式存储的优势，满足了业务的需求。

为什么不用分布式存储，而继续采购新的集中式存储与现有集中式存储形成互为备份的架构，主要有以下几点考虑：

l 数据结构单一

现有应用系统产生的数据均为结构化形式存储 ，集中式存储架构非常适合此类业务场景。

l 对接成本高

若使用新的存储架构 ，如分布式存储架构。有可能需要业务侧的联调与系统对接（重新对接）。由于各个业务系统的供应商不同，对接方案错综复杂，成本直线上升，而且对实际的性能和应用与集中式存储相比增加效果甚小。

l 运维成本高

集团现有存储工程师对集中式存储非常熟悉 ， 需要对分布式存储进行学习 ， 培训成本高 。 同时若采用 X 86架构的分布式存储 ， 对网络延时要求高 ，对 运维人员的技能要求也相对提升 。

集中式与分布式存储混合应用场景分享

案例分享

其实集中式存储和分布式存储就像两个孪生兄弟 ， 在某些场景下可以单打独斗 ，独领风骚。但是在一些特殊场景上必须相互扶持，强强联合，才能发挥最大的能量，满足业务的最终需求。

某集团的车联网业务的数据存储需求就非常适合混合存储架构 ，利用集中式存储和分布式存储的合理结合，有效的承担不同类型数据的存储任务，并提供低延时、高可用、海量的存储环境。

车联网业务作为某公司未来 5- 10重要的发力点 ，得到高层的支持，并以惊人的速度发展。目前接入车辆达到百万级，每天产生数十亿条数据，每天3- 4T左右的存储量 。车联网平台存储了接入车辆的位置信息、状态信息、速度信息及其他传感器等信息，主要以非结构化的数据为主,而且琐碎而海量。导致传统的数据存储架构无法满足当前规模的车联网数据存储的需求、响应的需求和弹性扩容的需求。对于车联网的后端报表平台，与大数据分析平台形成数据驾驶舱，为各个业务层面的领导进行决策提供数据支持。

为更好的支持整个车联网平台的数据存储 和不同层面的业务需求，I T部门急需一种性价比较高的存储解决方案 。 经过调研和 P OC ， 最终决定采用分布式存储对采集的数据进行存储 ，利用集中式存储对驾驶舱数据及各种报表进行存储，主要有以下方面的考虑：

l 数据类型

前端主要负责数据的采集和存储 ， 由于采集的数据大多数是非结构化数据 ， 具有海量 、 琐碎 、 多样性的特点 ， 所以采用分布式存储架构对非结构化数据进行存储 ，既可以实现海量存储，也可以实现弹性扩容。后端主要是固定的报表服务，数据大多数是结构化的，所以使用集中式存储即可满足业务需求。

l 弹性扩容

考虑到前端每日的数据增长量 ， 传统的集中式存储无法实现按需的快速增长需求 ， 所以利用分布式存储的弹性扩容特点 ， 满足快速扩容的需求 。 后端报表服务主要是按照领导的需求进行页面的展示的增加 ， 对存储需求小 ， 传统的集中式存储即可满足 。

l 性能至上

前端负责数据的采集和存储 ， 要求对前端应用快速响应 ， 尤其是琐碎的小文件 ， 集中式存储是不可能快速检索和响应 。采用分布式存储架构可以从根本上解决性能滞后的问题。

l 性价比高

前后端按需采用不同的存储架构 ， 在提升使用效率的同时 ， 更能降低总体使用成本 ， 符合集团降本增效的指导方针 。

结束语

在大数据时代的背景下 ， 结构化和非结构化数据激增 ，各个企业数字化转型步伐的加速，存储技术架构的不断更迭，会有更新的存储解决方案或者架构应运而生。当然新技术并不是为了代替老的技术，而是能够在现有存储架构的优势上，发掘新的突破点。 在数据存储方面 ， 混合架构的配合使用是未来存储发展的新趋势 。