浪潮AS13000分布式存储应用场景介绍

作者：浪潮商用机器 钟良

面对新趋势，传统的存储架构已经难以满足整体需求的变化，各行业的新业务和 IT 信息系统都面临着数据爆发所带来的各种挑战。作为数据存储和交换的承载实体，存储设备首当其冲。具体而言，它面临着三方面的挑战。

首先，是存储设备弹性扩展能力急需提升。数据爆发式增长，迫切需要数据中心提高存储容量，同时也需要保证整个业务应用的连续性。这就要求存储资源具有良好的弹性扩展能力，以消除单节点存储能力的瓶颈，保持节点的可扩展性。

第二，是异构存储资源的整合。目前，异构存储资源的整合还存在着一些发展瓶颈。当前的数据中心大量来自不同厂家的异构存储设备，这些设备的存储空间大多呈现孤立状态，不能形成统一存储资源池，即无法进行统一管理，因此，在一定程度上造成了资源的浪费，提高了运营管理的复杂性。

第三，是智能化资源管理的需求不断增长。数据中心需要满足各类应用以及服务快速开发和部署，这就要求数据中心的存储资源能够快速灵活的分配，根据需求进行自动调整，实现存储资源的智能化管理。

图 1: 分布式存储帮助客户从烟囱式存储转向资源池化存储

传统存储使用的均为纵向扩展，其性能属于火车头模式（ 2 台集中存储服务器机头，俗称双控制器），列车车箱跑得快不快，全靠车头的性能。其特点是在容量（硬盘数量）增加到一定程度，存储性能就达到瓶颈。 同时 FC SAN 架构采购成本贵，服务器以及网络设备的价格以及维护成本较高。并且，集中式存储存在负载不均衡，热点盘，容易造成性能瓶颈等问题。

浪潮 AS13000 存储架构使用分布式架构，每个节点都是一台独立的服务器，拥有自己的 CPU 、内存和硬盘。使用了目前流行的横向扩展方式，随着服务器节点数量的增加，存储的性能也线性增长。不单容量与性能上可以基本无上限扩容，用户也降低采购成本 : 客户可以使用 openpower 5280 或 5466 服务器，其价格可以对标通用化的 X86 服务，同时兼具更高的性能和稳定性。

图 2 ： AS13000 支持的多种场景以及独特接口适配各类服务

在 AS13000 场景中，可以支持各类数据接入模式， 比如 NAS ， ISCSI ，或 S3 等格式。以保证各类平台的对接。在数据处理中，可以提供文件，块，对象的数据格式，将其统一以对象方式保存在 AS13000 的统一存储池中。

AS13000 并且具有独有特色的 HDFS 接口，可以与数据量存储需求较大的大数据平台进行直接对接，满足客户日常的日常数据需求外的大数据分析的场景。

本文会主要讨论分布式存储在不同场景下的 AS13000 使用场景以及客户案例。

场景 1 ：

在某运营商的场景中， 客户使用 30+ 台 Openpower 5290 服务器搭建 Ceph 平台，提供 openstack 的虚拟机镜像服务。 凭借 PPC 架构的高性能和稳定性，提高云平台整体的可靠性。与 x86 平台的存储共同运行， 充分发挥各个架构的特性，也很好的体现了开源云计算异构兼容的特点。 openpower 服务器的 22 核心 4 线程服务器的多核心多线程的特点，可以支持更多的存储 ceph osd 在服务器上部署，以及支持对 cpu 要求更高的 SSD 或 NVME 磁盘。对于分布式存储，服务器故障容易引起数据大量迁移。服务器的稳定运行从硬件基础上提供了稳定的运行平台，作为业务的稳定运行的基石

不仅在技术角度上， openpower 平台与 x86 服务器异构搭建可以从商务角度上帮助客户在服务器选型时可以有更大选择空间。 Openpower ceph 集群可以与 x86 服务器共存，并且可以提供更高速存储池的服务，时客户需要提供存储分层的架构中不可或缺的组成要素。

图 3 ：常用的部署架构模型

场景 2 ：

使用 openpower 服务器为某互联网领域的负责数字内容领域产品提供、运营、服务一体化的公司提供超过 200TB 的实际存储容量。

客户的业务涉及采集影音节目成品、转播影音节目和媒体资源保存，即“采、播、存”，其业务技术涵盖全面，且每个环节对存储的要求也有不同，其中“存”作为网络公司的核心业务之一，且对存储有着极大的需求，需要着重对此进行分析。数据采集系统对存储有较高的可靠性要求，存储系统需保持 7 × 24 小时不间断运行，以保证连续工作模式

媒资系统需要存储系统支持百 GB 带宽和百 PB 容量的扩展能力，具备海量数据存储能力、带宽性能，以保证在规定的时间内完成相关数据写入工作。

由于项目中存储的视频较大，为了尽量节省存储空间， 项目中要求同时满足副本以及纠删码模式，对于关键数据采用多副本的格式存储，对于相对不重要的存储内容则使用纠删码模式进行存储。 AS13000 中数据保护技术支持副本、纠删码两种数据冗余保护方式，并支持软件定义的数据冗余策略。副本通过将数据写入到系统中多个位置来保护硬盘上的数据。 AS13000 支持 2~8 副本。可以使用副本策略，或者副本与纠删策略共存，数据可以根据用户要求设置为不同的数据冗余策略，通常普通数据可采用 2+1 的纠删策略，重要的数据采用三副本策略。 AS13000 的纠删码保护是在数据存储的最小粒度 —— 对象级别提供的。用户可以创建不同纠删码保护等级的存储池，并指定给不同的应用目录，针对不同数据重要性等级提供不同的保护能力。

图 4 ： AS13000 的多种部署架构

浪潮存储系统 AS13000 提供了集文件存储、对象存储、块存储、大数据四种存储服务于一身的分布式存储架构，通过横向扩展基础架构实现单系统存储节点扩展至数千个，形成 EB 级海量存储空间、百亿数据文件管理、千万级 IOPS 和百 GB 带宽，并凭借其高效可靠的数据自动修复和自动运维机制，显著降低了存储管理的负担。

AS13000 具有高扩展性，其设计保证所有的关键系统服务都分布在多个硬件上，避免系统资源争用，消除系统瓶颈，确保随着基础设施的扩展，系统容量和性能呈线性增长。

AS13000 采用全对称、去中心化分布式架构，将系统的数据和元数据平均的分布到各个节点上，打破了传统系统的元数据集中式存储和管理这一限制，对系统的目录实行分而治之，实现负荷分担、负载均衡；即使系统中出现节点故障，系统也能够通过数据冗余规则以及故障修复迅速进行响应，恢复故障节点存储的数据及元数据信息，提供比传统存储系统更高的可靠性。

AS13000 根据 “ 软件定义和硬件重构 ” 理念，采用以太网络、 InfiniBand 组网技术把整套系统硬件互联起来，然后在其上部署浪潮软件定义存储软件，对外提供统一服务接口，对内协调数据交换，并针对场景开展存储系统的深度优化，构建一个容量按需扩展、性能按需供给、服务按需定义的海量存储系统。

图 5 ： AS13000 的优势总结