保险超融合

超融合存储的有效容量能有多少?

分布式存储基本还是基于镜像的数据存储,他的磁盘利用率看上去还是很低,现有的商业超融合是否有压缩去重技术,去重比能达到多少?

参与12

3同行回答

nkj2021nkj2021  系统架构师 , 某证券企业
存储资源的规划一般以存储 容量 的计算为主,设定 总的有效容量=x,磁盘标称容量=z,磁盘空间利用率=q,副本数=k 总的硬盘数量=roundup[总的有效容量/(zq)k](向上取整) 现有需要迁移的数据,总计20000GB,预计购买的超融合服务器每台的磁盘标称容量z=1200GB,磁盘空间利用率q=0.95,副...显示全部

存储资源的规划一般以存储 容量 的计算为主,设定 总的有效容量=x,磁盘标称容量=z,磁盘空间利用率=q,副本数=k 总的硬盘数量=roundup[总的有效容量/(zq)k](向上取整) 现有需要迁移的数据,总计20000GB,预计购买的超融合服务器每台的磁盘标称容量z=1200GB,磁盘空间利用率q=0.95,副本数k=3. 按容量计算,硬盘数量为: 则利用上述公式: 总的硬盘数量= roundup[20000/(1200GB0.95)3] 总的硬盘数量= roundup[20000/(1140)*3] 总的硬盘数量= roundup[52.633] 总的硬盘数量为53块硬盘,每块盘容量至少为1200GB。 如果要加入SSD固态硬盘做热点迁移和自动分层,需要按照超融合系统要求的比例,购买SSD固态硬盘。

收起
证券 · 2021-06-16
浏览1593
NickJinNickJin  解决方案架构师 , SmartX超融合
超融合架构使用的是分布式存储架构,不同的存储技术实现会影响存储有容量的计算度量方法,如副本、EC,是比较主流的两种数据可靠性技术,同时还有一些特性,如压缩、去重也可以有效降低存储容量的占用,由于需要使用更多的计算能力,需要单独去看是否适合应用场景。从最优的资源使用视...显示全部

超融合架构使用的是分布式存储架构,不同的存储技术实现会影响存储有容量的计算度量方法,如副本、EC,是比较主流的两种数据可靠性技术,同时还有一些特性,如压缩、去重也可以有效降低存储容量的占用,由于需要使用更多的计算能力,需要单独去看是否适合应用场景。

从最优的资源使用视角,超融合是将计算和存储融合在同一个节点内,所以,存储使用的资源越少,留给计算的资源则越多,也是考验产品底层资源控制的设计和代码能力。

用最简单的方法,如副本技术,即裸容量/副本策略(例如:150T裸容量,3副本,有效容量即50T),分布式架构集群需要3节点起步,即每节点提供50T磁盘裸容量,根据服务器的磁盘插槽情况,选择适合的磁盘数量的容量配置。
注意:磁盘需要考虑有效空间利用率(单位换算 1G=1000M,checksum占用)

收起
软件开发 · 2021-07-01
浏览1481
华为FusionCube超融合支持副本和EC(Erasure Coding)的两种冗余方式。EC是一种增强型数据冗余保护机制,广泛应用于分布式存储领域。EC在分布式存储系统中使用N个数据块和M个校验块保证数据的可靠性,这N+M个数据块中有任意M个块数据损坏,都可以通过其他N个块上的数据恢复M个块的...显示全部

华为FusionCube超融合支持副本和EC(Erasure Coding)的两种冗余方式。EC是一种增强型数据冗余保护机制,广泛应用于分布式存储领域。EC在分布式存储系统中使用N个数据块和M个校验块保证数据的可靠性,这N+M个数据块中有任意M个块数据损坏,都可以通过其他N个块上的数据恢复M个块的数据。相比于副本存储方式,EC数据冗余保护机制在提供高可靠性的同时也能够提供更高的硬盘利用率,从而降低成本。

比如一个4M的IO,在三副本存储方式下,共占有12M的硬盘空间,而在4+2配比的EC存储方式下,4个数据节点每个占用1M空间,2个校验节点各占用1M空间,共6M空间,在提供相同可靠性的前提下,EC比三副本节省了6M硬盘空间。

华为FusionCube超融合同时采用了智能的自适应重删技术,以用户需求为导向,在用户数据处理负载较高的情况下,前重删会自动关闭,优先确保性能,由后处理完成数据缩减。在负载较低的情况下自动开启前重删,避免了后处理的读写放大。自适应技术以用户为导向,在用户不感知的情况下根据负载自动切换重删方式,避免了在线重删和后重删两种方案的缺点。

收起
IT咨询服务 · 2021-06-29
浏览1384

提问者

ysryoyo
系统工程师某保险公司
擅长领域: 灾备存储超融合

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-06-10
  • 关注会员:5 人
  • 问题浏览:2638
  • 最近回答:2021-07-01
  • X社区推广