分布式存储的选型关注点?

生产环境级别的分布式存储在做选型的时候,主要需要从哪几个方面进行考察,评测?

参与17

3同行回答

朱向东朱向东课题专家组高级工程师某银行
1、分析要存储什么数据,数据量是多少,未来3~5年的数据增长量是多少,要明确使用场景以及必须的功能。2、结合自身企业IT基础设施的规划以及存储架构规划有的放矢,那么,分布式存储一般来说有三种类型,第一种是对象存储,适用于海量的静态的非结构化数据存放的场景,如视频、图片、文...显示全部

1、分析要存储什么数据,数据量是多少,未来3~5年的数据增长量是多少,要明确使用场景以及必须的功能。
2、结合自身企业IT基础设施的规划以及存储架构规划有的放矢,那么,分布式存储一般来说有三种类型,第一种是对象存储,适用于海量的静态的非结构化数据存放的场景,如视频、图片、文件、软件包等,第二种是块存储,适用于类似一块块硬盘的挂载主机的场景, 在主机上我们能够看到的就是一块块的硬盘以及硬盘分区 ,如虚拟机增加一块硬盘等等。第三种是文件存储,采用NFS或CIFS命令集访问数据,适用于联机共享等场景。所以要结合业务需求有重点的选型。
3、从存储架构、扩展性、易维护性、安全性、可靠性、处理性能、TCO、自主可控等方面综合考虑。还需要关注运维管理便捷度,存储数据生命周期管理,容灾切换能力,硬件加速以及压缩去重、数据分级等能力。
4、尽可能将纳入选型范围的分布式存储设备进行现场实际POC测试,对所有关注点均进行现场的全功能压力测试,小到一根网线的插拔,大到整机掉电或整机柜掉电,验证其产品是否满足业务需求,总结其性能极限和高可用能力覆盖度,有利于将来的存储运维和容灾切换。

收起
银行 · 2022-11-18
浏览1134
SandStone杉岩数据SandStone杉岩数据中国对象存储市场领导厂商深圳市杉岩数据技术有限公司
在当前业务不断波动变化和IT技术快速发展的背景下,企业应围绕业务需求来规划存储架构,综合考虑成本,从海量数据的 安全存储、高效管理、价值挖掘等方面对存储系统选型进行考虑。如何安全可靠地存储海量数据?可靠性和安全性: 由于分布式存储与网络、磁盘的运行情况息息相关,需要...显示全部

在当前业务不断波动变化和IT技术快速发展的背景下,企业应围绕业务需求来规划存储架构,综合考虑成本,从海量数据的 安全存储、高效管理、价值挖掘等方面对存储系统选型进行考虑。

如何安全可靠地存储海量数据?

可靠性和安全性: 由于分布式存储与网络、磁盘的运行情况息息相关,需要了解分布式存储在各种网络故障、磁盘故障场景下的处理机制是否符合当前企业的业务要求,例如在集群故障场景下有多少块盘和多少台主机出现故障,故障后数据是否能够自动修复,是否有相应的告警提示,是否支持对重要数据做备份?数据安全方面,存储系统是否支持数据加密,是否有完善的权限管理机制、日志审计查询功能等?例如,对于金融行业来说,保障业务的持续稳定无间断运行和数据安全流动是第一要务,存储系统的可靠性和安全性应是重点关注的内容。

性能和成本: 企业可以根据自身业务的数据量、数据类型及对数据的读写性能要求,选择能够支持的分布式存储系统。例如在AI训练/自动驾驶领域,单个数据集可能就包含10万+数量的视频、图片及相应标准,总数据量往往达到几百TB甚至数PB,这对于存储的吞吐量、延迟要求极高。此外,还应考虑到是否有成本控制相关功能(例如重复数据删除、定期清除),以进一步提高空间利用率。

灵活扩展: 虽然分布式存储能够支持弹性扩展,但是一些分布式存储扩容后,可能会导致大量数据迁移到新扩容的磁盘空间上,从而影响业务性能。因此建议用户选择能够支持平滑扩容并且对业务无感知的分布式存储。

如何实现数据统一管理和便捷运维?

数据统一管理: 如何将多种数据类型的数据汇聚到分布式存储中进行统一的管理,如是否支持SMB/CIFS/CSI等?以最大化减少传统应用迁移至对象存储的改造成本;是否有可视化的界面可以进行便捷的数据管理,如数据上传、下载、删除等操作?

生命周期管理: 采用分布式存储后,能否纳管原有的NAS设备,实现数据免迁移和业务无感知,节省投资成本?能否支持热温冷数据的自动迁移以及和公有云的无缝对接?例如,在智能制造AOI质检场景,质检图片数据在2年左右往往需要自动归档到后端磁带库等低成本介质,满足数据长期保存的合规性要求。

可视化的便捷运维: 管理界面是否直观可视化,实现全集群的便捷管理?能否对容量、存储集群的稳定性、业务统计等动态展示?能否做到实时监控预警?

如何进一步挖掘数据价值?

在数据浪潮的推动下,企业需要在各类场景下高效存储和使用数据,对存储系统的要求也从简单的能存能管,提升到要便于价值利用。因此在分布式存储选型时,企业也要进一步关注存储系统能否快速对图片、视频、文本等非结构化数据进行有效信息提取,从而更好地对数据价值进行挖掘和呈现。

从以上的分析可以看出,IT技术人员在选择分布式存储过程中,需要考虑的因素众多。如果能拥有一款既安全可靠、满足业务需求,又能实现便捷管理和成本优化,并能为后续的数据价值利用打下坚实基础的分布式存储产品,将极大地推动实现数字时代企业的IT基础架构转型升级。

而 杉岩MOS海量对象存储 ,作为一款 兼具企业级海量非结构化数据存储能力和智能数据处理能力 的分布式存储产品,就围绕海量数据的“存储、管理、挖掘”需求,创新存储科技,成为海量、安全、智能、非结构化数据存储的最佳选择。

海量数据安全存储

杉岩MOS基于分布式架构,支持百亿文件/EB级存储容量,单一命名空间下,满足高并发访问需求,支持业务在线时存储服务器 横向扩容及整池扩容,扩容后新数据存放于新的存储池,老数据提供读服务,有效避免数据重平衡对前端业务的冲击;加之部署简单、灵活扩展的特点,可以充分满足爆炸式增长的非结构化数据存储需求,解决传统NAS存储无法弹性扩展的难题。

可靠性和安全性方面,杉岩 MOS支持副本、纠删两种数据冗余策略供用户按需选择。同时,通过桶内数据加密、WORM、多版本、回收站、CDP和多用户隔离等技术实现数据的加密、防误删、灾难恢复和权限控制等。

在兼顾性能和可靠性外,杉岩MOS还 支持重删及压缩、数据分级存储、生命周期清除、传统SAN纳管和NAS/S3异构等 多种成本优化技术 , 在帮助企业提高存储空间利用率、保护历史投资、节省存储空间和采购成本等方面有着独特的价值优势。

统一管理和简单运维

传统的SAN/NAS存储只能在局域网内访问,无法提供云边协同统一的数据管理能力。杉岩MOS不仅支持S3接口,还支持NFS、SMB、FTP、CSI、HDFS等丰富的接口,可以对接各种类型的应用,将各类数据汇聚到杉岩 MOS产品中,实现数据跨网络的统一管理和访问;支持NAS/S3纳管, 省去了数据迁移与校验的过程,实现业务系统的快速切换与上线。

同时,根据数据不同的生命周期的阶段,杉岩MOS支持对数据进行全生命周期管理,支持冷热数据介质分层迁移、实时归档、延时归档、延时删除等,降低存储成本;与公有云相互兼容,将本地对象文件通过生命周期管理自动归档到公有云, 实现业务无感知的数据上云、下云的融合和流动。

在运维层面,杉岩MOS提供了一系列的特性帮助用户简化运维,例如容量预警、桶审计日志、对象业务统计、硬盘亚健康、网络亚健康,多集群管理等。此外,在告警管理方面也支持多样化的告警方式,例如微信告警、电话告警、邮箱告警,支持自动巡检并生成巡检报告。

智能处理挖掘数据价值

在传统模式下,对数据库文件等结构化数据进行价值挖掘相对容易,但是对于图像、影音等非结构化数据的价值挖掘较为困难。为方便用户对非结构化数据的提取及使用,杉岩MOS集成了智能数据处理引擎, 支持对非结构化数据进行多维度标签化和结构化处理,将图片转码、视频抽帧、OCR识别等数据处理能力下沉到存储系统内部,提升处理效率,通过标签检索对象,提升数据管理能力,降低成本并简化业务流程。

收起
软件开发 · 2022-12-13
浏览966
JAGXUJAGXU存储运维管理ZTZQ
1、易用易维护性2、可监控3、可靠性性4、性能显示全部

1、易用易维护性
2、可监控
3、可靠性性
4、性能

收起
IT咨询服务 · 2022-11-18
浏览1055

ChatGPT 回答

在银行行业中,生产环境级别的分布式存储选型需要考虑以下几个方面:

  1. 性能:分布式存储需要能够支持高并发、高吞吐量的数据读写操作,同时还需要具备快速的数据恢复和备份能力。
  2. 可靠性:银行行业的数据安全性要求非常高,因此分布式存储需要具备高可靠性,能够保证数据不丢失、不损坏,同时还需要支持数据冗余和自动故障转移。
  3. 可扩展性:随着业务的不断增长,分布式存储需要能够支持快速的扩展,能够无缝地添加新的存储节点,同时还需要支持动态负载均衡。
  4. 安全性:银行行业的数据安全性要求非常高,因此分布式存储需要具备高度的安全性,能够保护数据的机密性、完整性和可用性,同时还需要支持数据加密和访问控制。
  5. 成本效益:银行行业需要考虑分布式存储的成本效益,包括硬件、软件、维护和管理等方面的成本,同时还需要考虑存储的总体性能和可靠性与成本之间的平衡。

综上所述,银行行业在进行生产环境级别的分布式存储选型时,需要综合考虑性能、可靠性、可扩展性、安全性和成本效益等方面的因素,以选择最适合自己业务需求的存储方案。

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-11-17
  • 关注会员:4 人
  • 问题浏览:2176
  • 最近回答:2022-12-13
  • X社区推广