phegda
作者phegda·2023-06-13 10:05
技术文档·天玑数据

天玑数据分布式存储平台:高性能、高扩展与高性价比的数据存储解决方案

字数 3309阅读 729评论 0赞 1

在数字经济时代,数据已成为提振国家经济发展动能的新型生产力,因此数据基础设施备受关注。其中,存储设施作为数据资源的最终载体,是数据基础设施的核心部分。随着业务需求不断变化,硬件能力的提升以及网络技术的升级,存储技术架构在多方面因素的推动下,正在向软件定义架构演进。软件定义存储(SDS, Software Defined Storage)作为数据基础设施领域的关键技术之一,已经广受关注。

天玑数据的PhegData-X分布式存储平台采用SDS技术,为企业IT基础架构提供高性能、高扩展性和性价比极高的海量存储解决方案。本文将探讨其应用场景、实现原理和优点等等。

一、背景描述

存储软件是软件定义存储架构的价值核心。

  • 在存储硬件层面:SDS可部署在低成本的标准商用存储服务器上,一般采用分布式部署架构。
  • 在存储软件层面:分布式存储软件运行在标准操作系统之上,对存储节点、网络进行配置和管理,对内进行数据管理,对外提供存储服务。

由于SDS的技术本质更多地是由存储软件来驱动并控制标准化的存储硬件资源,因此存储软件是SDS架构的核心。

为了让数据存储和管理变得简单高效,同时发挥数据的价值,天玑数据自主研发了一套高性能、高扩展与高性价比的分布式存储平台产品(PhegData-X)。该平台不仅适用于传统关键业务需求,如数据库等,还能完美支持大数据分析、虚拟化、容器、私有云。

二、设计与实现

PhegData-X分布式存储平台由两大核心组成部分:SmartStor-X分布式存储软件SmartMon-X统一监控管理软件

 PhegData-X分布式存储平台

PhegData-X分布式存储平台

SmartStor-X分布式存储软件

SmartStor-X分布式存储软件是一种高度可扩展的存储引擎,能够实现数据的块和文件存储。SmartStor-X不仅能够提供高性能、高可用、高扩展的存储方案,而且支持海量数据存储,实现SSD和HDD的混合架构,从而大幅度提高存储资源利用率。

SmartStor-X分布式存储软件的架构设计十分优秀,由设备层、引擎层、服务层和接口层四个部分构成。

  • 设备层由存储节点的SSD和HDD构成,支持主流的SATA/SAS硬盘、PCI-E、Nvme SSD等多种接口介质。
  • 引擎层通过分布式集群和一致性哈希算法实现PhegData-X的分布式存储引擎,负责数据的分配、调度和副本的强一致性维护,以及集群异常后的自动重构。
  • 服务层提供智能缓存组件、多副本配置、卷的精简配置、卷的快照/克隆功能,同时还支持多存储池和卷的远程容灾功能。
  • 接口层除了支持高性能的私有客户端,还兼容了传统的iSCSI和FC接口,并提供了openstack cinder接口、第三方对接resful接口和监控报警对接接口snmp,以满足不同用户的需求。

SmartMon-X统一监控管理软件

SmartMon-X统一监控管理软件是PhegData-X分布式存储平台的管理中心,能够实现对整个存储集群的实时监控和管理。SmartMon-X可视化管理界面友好、功能丰富,可以实现对节点状态、存储容量、运行状态等进行实时监控和管理,而且还提供了灵活的报警处理和自动化管理等诸多扩展功能。

 SmartMon-X统一监控管理软件

SmartMon-X统一监控管理软件

通过SmartStor-X和SmartMon-X的结合,PhegData-X分布式存储平台能够有效解决企业存储和备份需求,提供高效、可靠、安全的数据存储服务,帮助企业实现数字化转型。

三、产品优势与特点

天玑数据分布式存储平台采用自主研发的专有链路协议、智能缓存、自动精简配置等技术,并通过数据冗余、分布式控制来实现高性能、高扩展与高性价比的存储系统。该存储平台具有以下优点:

  • 开放兼容

采用通用X86服务器,性价比高,可维护性强、支持多硬件平台,支持多种协议和主流虚拟化平台、操作系统。

  • 高可扩展

采用分布式架构,支持在线平滑扩展存储和计算节点,性能可以实现线性增长,且支持一键扩缩存储容量和计算资源以满足用户对存储容量和性能的不断增强需求。

  • 高性能

支持多副本容错和远程容灾,故障自愈速度快且采用高速传输协议和高速存储介质以提供高带宽、低延迟的存储和计算,同时通过副本机制/纠删码机制实现数据保护功能,哈希数据路由实现全局负载均衡,带宽比TCP模式提升3倍以上,延迟降低2倍以上

  • 高性价比

采用通用X86架构和智能缓存SSD技术,提供高性价比的百万级IOPS和低时延,可替代传统高端SAN存储,降低企业TCO。

  • 高安全

采用分布式架构、数据多副本机制和软件故障域设定功能,保证在单盘和单物理节点故障情况下自动切换业务、不丢失数据并保障业务连续性。

  • 易运维

通过一个可视化和统一的监控管理平台,将数据库管理和存储管理集成到一个平台上,方便运维管理人员快速上手。

四、应用场景

天玑数据的分布式存储平台PhegData-X主要应用于大数据处理、云计算、物联网等领域。这些应用的高并发、高吞吐量和高可用性要求,使得传统的存储系统无法满足需求。相比之下,天玑数据的分布式存储平台PhegData-X具备高度可扩展性和强大的性能优势,可以轻松地应对这些挑战。

  • 场景一:与主流云平台的集成,构建云资源池中的存储资源池。可以和各种云平台集成,如VMware、开源Openstack等,按需分配存储资源。
  • 场景二:提供传统的存储应用,如各种业务应用(如SQL、Oracle RAC、Web、行业应用等等)。

应用场景

应用场景

因此,PhegData-X是一种高度兼容的系统,可以兼容各种主流的数据库、虚拟化平台和服务器。除此之外,PhegData-X还支持虚拟化平台和数据库资源池的融合部署,即可以通过资源池共享实现在同一个数据中心内具有更高的资源利用率和更低的维护成本。

天玑数据PhegData-X的软硬件兼容性总结如下:

  • 硬件兼容性主要包括 服务器、各种HDD盘,SSD盘,PCIE SSD卡/盘以及各种RAID卡,以太网卡, Infiniband卡等。
  • 软件兼容性主要包括 各种虚拟化平台、各种操作系统以及各种数据库软件。

总之,天玑数据的PhegData-X分布式存储平台可以轻松地应对高并发、高吞吐量和高可用性要求的应用场景,并为企业打造智能、高效、安全的数据存储环境。

五、应用案例

天玑数据的分布式存储平台PhegData-X已成功应用于大型运营商、金融和教育等领域,这里我们将举例介绍一家大型运营商的案例,展示他们如何应用PhegData-X实现数据存储和备份。

客户需求
某大型运营商的应用数据急速增长,以传统企业级数据存储系统为主的专用设备,如磁盘阵列已无法满足其容量与性能需求,且该存储环境还面临着形态与实施成本、以及复杂性问题。为此,该运营商希望采用国产自主研发的基于通用标准架构的服务器架构、软硬件分离和分布式存储方式,以改善其传统存储环境,提高存储系统的灵活性和可扩展性,并实现跨数据中心的冗余双活。

我司方案
通过采用自主研发的分布式块存储产品PhegData-X,构建虚拟化存储资源池,并提供iSCSI接口,与VMware ESXI、HUAWEI FushionCompute、H3C CAS平台对接,从而通过分布式架构,提升系统的海量数据访问能力和扩展性。

  • 第一阶段的云资源池SDS扩容项目中,使用分布式存储纯软件,提供裸容量空间许可达到1248T。
  • 第二阶段的核心云资源池扩容工程中,使用分布式存储纯软件,提供裸容量空间许可达到2880T。

方案架构

方案架构

客户收益
采用分布式存储架构取代原有的SAN存储架构,不仅降低了存储成本,还极大地提升了该运营商的存储系统灵活性、可扩展性和可用性。同时,这也为今后实现跨数据中心冗余双活奠定了基础。总体效果超出预期,达到了更好的水平。

六、结论

作为一家专注于IT基础架构产品与解决方案的领先提供商,天玑数据在分布式存储领域通过多年技术创新和严格测试验证,实现了一系列高性能、高可用性、高扩展性的软件存储产品和解决方案,可满足大数据处理和高并发需求。未来,天玑数据将继续以客户需求为导向,不断完善云计算技术体系,构建更加智能、高效、安全的分布式存储环境,为企业提供无忧数据存储服务。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

1

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广