对于分布式存储的选型,有什么标准、建议以及避坑经验分享?

要进行分布式存储的选型,在项目初始界面,有什么标准、建议以及避坑经验分享?

参与10

4同行回答

amanyamany系统架构师zes
存储产品的选择还是要围绕业务需求来规划,从业务入手,综合考虑数据的类型,对数据访问时延要求、成本等等综合考虑。显示全部

存储产品的选择还是要围绕业务需求来规划,从业务入手,综合考虑数据的类型,对数据访问时延要求、成本等等综合考虑。

收起
IT咨询服务 · 2022-02-24
浏览647
SandStone杉岩数据SandStone杉岩数据中国对象存储市场领导厂商深圳市杉岩数据技术有限公司
在当前业务不断波动变化和IT技术快速发展的背景下,企业应围绕业务需求来规划存储架构,综合考虑成本,从海量数据的安全存储、高效管理、价值挖掘等方面对存储系统选型进行考虑。如何安全可靠地存储海量数据?可靠性和安全性:由于分布式存储与网络、磁盘的运行情况息息相关,需要了...显示全部

在当前业务不断波动变化和IT技术快速发展的背景下,企业应围绕业务需求来规划存储架构,综合考虑成本,从海量数据的安全存储、高效管理、价值挖掘等方面对存储系统选型进行考虑。

如何安全可靠地存储海量数据?

可靠性和安全性:由于分布式存储与网络、磁盘的运行情况息息相关,需要了解分布式存储在各种网络故障、磁盘故障场景下的处理机制是否符合当前企业的业务要求,例如在集群故障场景下有多少块盘和多少台主机出现故障,故障后数据是否能够自动修复,是否有相应的告警提示,是否支持对重要数据做备份?数据安全方面,存储系统是否支持数据加密,是否有完善的权限管理机制、日志审计查询功能等?例如,对于金融行业来说,保障业务的持续稳定无间断运行和数据安全流动是第一要务,存储系统的可靠性和安全性应是重点关注的内容。

性能和成本:企业可以根据自身业务的数据量、数据类型及对数据的读写性能要求,选择能够支持的分布式存储系统。例如在AI训练/自动驾驶领域,单个数据集可能就包含10万+数量的视频、图片及相应标准,总数据量往往达到几百TB甚至数PB,这对于存储的吞吐量、延迟要求极高。此外,还应考虑到是否有成本控制相关功能(例如重复数据删除、定期清除),以进一步提高空间利用率。

灵活扩展:虽然分布式存储能够支持弹性扩展,但是一些分布式存储扩容后,可能会导致大量数据迁移到新扩容的磁盘空间上,从而影响业务性能。因此建议用户选择能够支持平滑扩容并且对业务无感知的分布式存储。

如何实现数据统一管理和便捷运维?

数据统一管理:如何将多种数据类型的数据汇聚到分布式存储中进行统一的管理,如是否支持SMB/CIFS/CSI等?以最大化减少传统应用迁移至对象存储的改造成本;是否有可视化的界面可以进行便捷的数据管理,如数据上传、下载、删除等操作?

生命周期管理:采用分布式存储后,能否纳管原有的NAS设备,实现数据免迁移和业务无感知,节省投资成本?能否支持热温冷数据的自动迁移以及和公有云的无缝对接?例如,在智能制造AOI质检场景,质检图片数据在2年左右往往需要自动归档到后端磁带库等低成本介质,满足数据长期保存的合规性要求。

可视化的便捷运维:管理界面是否直观可视化,实现全集群的便捷管理?能否对容量、存储集群的稳定性、业务统计等动态展示?能否做到实时监控预警?

如何进一步挖掘数据价值?

在数据浪潮的推动下,企业需要在各类场景下高效存储和使用数据,对存储系统的要求也从简单的能存能管,提升到要便于价值利用。因此在分布式存储选型时,企业也要进一步关注存储系统能否快速对图片、视频、文本等非结构化数据进行有效信息提取,从而更好地对数据价值进行挖掘和呈现。

收起
软件开发 · 2022-07-15
浏览471
分布式存储选型必然与业务的需求息息相关,但还是有一些共有的标准,例如可靠性、性能、运维、数据服务支持都是非常重要的,这里举几个例子:可靠性:由于分布式存储从架构上是极度依赖网络的,需了解产品在不同网络状况下的处理机制,如某一个或几个节点网络断开了,或者形成网络分区,软...显示全部

分布式存储选型必然与业务的需求息息相关,但还是有一些共有的标准,例如可靠性、性能、运维、数据服务支持都是非常重要的,这里举几个例子:

可靠性:

由于分布式存储从架构上是极度依赖网络的,需了解产品在不同网络状况下的处理机制,如某一个或几个节点网络断开了,或者形成网络分区,软件的处理机制是怎样的,是否能够符合高可用的要求,数据恢复机制等等。例如,某分布式存储产品在 3 节点集群下,当单一节点发生网络故障或者宕机后是无法完成数据恢复的,意味着这种情况下可靠性将降低,这一点是否能忍受?

性能:

性能可以通过第三方测试工具进行测试,如 fio 、iometer、vdbench 等等。测试模型需要根据自身业务特点去模拟,如小块随机混合读写 IO、大块顺序 IO 等等,可以测试出存储的基准性能;另外也可以通过测试不同节点规模下的性能表现,验证分布式存储节点规模扩大,性能是否能线性提升。另外也可以通过模拟一些场景,如数据恢复过程中、执行快照过程中对存储性能影响是怎样的?否则日后使用时会带来一些不可预测的风险。

运维便利度:

可考察产品在日常监控、扩容、更换硬盘(以及其他硬件)是否足够便利;之前有遇到某些分布式存储产品在扩展节点时候会触发大量数据迁移,过程中导致存储性能急剧下降,几乎不可用状态,这种情况意味白天执行扩展任何几乎是不可能的,运维上也是大打折扣;

收起
软件开发 · 2022-03-25
浏览612
dwydwy产品总监华通
主要考虑数据类型,负载压力,数据量等因素显示全部

主要考虑数据类型,负载压力,数据量等因素

收起
政府其它 · 2022-02-24
浏览611

提问者

lisunwei
系统运维工程师华安财产保险股份有限公司
擅长领域: 服务器云计算容器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-02-23
  • 关注会员:5 人
  • 问题浏览:1640
  • 最近回答:2022-07-15
  • X社区推广