传统式存储阵列与分布式存储系统的优缺点及应用场景?大数据仓库推荐何种存储形式?

参与10

3同行回答

adamshaoadamshao  软件架构设计师 , XSKY星辰天合
传统存储一般采用内存做写缓存,服务器必须具备掉电保护功能,否则会造成数据丢失;一般是双控,采用PCIe做镜像。传统存储的IO路径是固定的,节点故障会导致性能大幅下降。一般不具备灵活的扩展和高可靠性,只能依靠固定的硬件RAID,维持小规模集群,不具备自动重平衡等机制。虽然传统存...显示全部

传统存储一般采用内存做写缓存,服务器必须具备掉电保护功能,否则会造成数据丢失;一般是双控,采用PCIe做镜像。传统存储的IO路径是固定的,节点故障会导致性能大幅下降。一般不具备灵活的扩展和高可靠性,只能依靠固定的硬件RAID,维持小规模集群,不具备自动重平衡等机制。

虽然传统存储的架构不够灵活,但由于IO路径短,性能较好,一般应用于对延时要求非常高的核心数据库场景。

分布式存储不需要内存掉电保护,采用普通硬盘即可,IO写入三副本落盘后才返回,确保数据高可靠性;节点间采用万兆网络即可,对硬件无特殊要求,成本更低。SDS一般基于一致性hash算法,IO路径上不存在单点故障问题,大大提高系统可靠性。同时可灵活配置故障域和副本策略,拥有自动重平衡能力,后期可任意扩展。

分布式存储的延时一般会比传统存储高一些。可应用于如OpenStack/VMware虚拟化云平台、云硬盘、企业网盘、媒资管理、视频监控、备份归档、高性能计算等大部分场景。

收起
软件开发 · 2020-05-29
浏览2908
传统式存储阵列是比较经典的存储,在各种业务场景中都经过了长时间的验证,具备较高的硬件稳定性和可靠性等优点,传统式存储阵列虽然有众多优点,但也存在一定的局限性,如:软件硬件相对比较封闭,运维管理云化复杂度较高或无法云化,软硬件维护成本较高,性能无法横向扩展,高性能传统式存...显示全部

传统式存储阵列是比较经典的存储,在各种业务场景中都经过了长时间的验证,具备较高的硬件稳定性和可靠性等优点,传统式存储阵列虽然有众多优点,但也存在一定的局限性,如:软件硬件相对比较封闭,运维管理云化复杂度较高或无法云化,软硬件维护成本较高,性能无法横向扩展,高性能传统式存储阵列价格昂贵等缺点。

分布式存储存储也是很早就存在一种存储架构,随着10GbE/25GbE/100GbE等高速以太网的发展为分布式高速互联提供了支撑和保障,互联网等新兴业务场景需求和分布式应用的出现,分布式存储的软硬件解耦、在线横向扩展、一体化运维、相较于传统存储阵列更低的成本,存储性能与功能可在线持续进化等优势深受青睐。 分布式存储虽然有诸多的优势,也存在一些客观存在的问题,如:分布式存储在数据保护机制上通常采用副本机制,存在一定的存储空间浪费。分布式存储产品以基于社区开源产品和自研存储两大类为主,分布式存储产品众多,品质参差不齐辨别成本较高。

在应用场景上其实传统式存储阵列和分布式存储都可以承载各种应用场景,借助Intel 傲腾持久化内存、NVMe SSD 等高速介质都可以达到较高的性能,且分布式存储随着节点增加线性扩展性能和容量。在可靠性上传统存储阵列依赖专用的硬件和存储固件,以确保存储可靠性。分布式存储使用多节点标准服务器硬件和分布式存储软件,以确保存储可靠性。

大数据仓库通常有数据量大、数据类型繁多、数据交互频繁、数据增长快等特点,根据大数据仓库需求特点来看,分布式存储的3节点起步、支持按需横向在线扩展、高性能、低成本等特点,因此大数据仓库推荐使用分布式存储。

收起
软件开发 · 2023-05-23
浏览550
VincentVincent  存储工程师 , china
OLTP对性能要求高的还是选用传统存储,对性能要求不太高,数据量较大,需要长久存放的可以分布式存储,大数据可以和对象存储结合,将热数据,温数据和冷数据分开存放。显示全部

OLTP对性能要求高的还是选用传统存储,对性能要求不太高,数据量较大,需要长久存放的可以分布式存储,大数据可以和对象存储结合,将热数据,温数据和冷数据分开存放。

收起
银行 · 2020-05-15
浏览3182

提问者

hufeng719
系统工程师某钢铁企业
擅长领域: 数据库存储服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-05-15
  • 关注会员:4 人
  • 问题浏览:5273
  • 最近回答:2023-05-23
  • X社区推广