交易类业务系统对性能要求比较高,如果采用分布式块存储,如何进行性能持续优化?

参与7

3同行回答

李静12138李静12138产品解决方案总监星辰天合(北京)数据科技有限公司
主要从如下几个方面提升性能:适配高性能的硬件,例如,optane,高速网卡(支持RoCE),在传输介质和存储介质上发掘性能。缓存加速能力,XSKY 提供分布式多级缓存技术,采用空间换时间的方式,让不同类型的IO按策略访问最合适的硬件介质,获取最高的性能。软件处理能力提升,XSKY 提供端到端自研...显示全部

主要从如下几个方面提升性能:

  1. 适配高性能的硬件,例如,optane,高速网卡(支持RoCE),在传输介质和存储介质上发掘性能。
  2. 缓存加速能力,XSKY 提供分布式多级缓存技术,采用空间换时间的方式,让不同类型的IO按策略访问最合适的硬件介质,获取最高的性能。
  3. 软件处理能力提升,XSKY 提供端到端自研的软件技术栈,优化软件处理时延,从根本上提升整体性能。
  4. 提升并发能力,这点是分布式存储的优势,通过多个节点的并发,可以大幅度的提升整体性能。

补充性能优化是如何持续发展的:

  • 借助硬件红利:软件定义存储的优势是可以持续的享受硬件发展的红利,通过硬件性能提升,软件加强对硬件的适配,从而提升整体性能
  • 软件架构的迭代:XSKY 针对高性能存储有非常明确的Roadmap,在设备接入层,南北向传输层,缓存层,持久化层,均投入了研发资源进行持续的改进,在保证稳定性的前提下持续的优化性能。
收起
软件开发 · 2021-12-21
浏览789
tsrjzqtsrjzq解决方案架构师英特尔公司
分布式块存储的性能要从几个方面来提升。首先,存储性能的提升依赖于存储介质的提升。这是最根本的。比如从传统的以机械硬盘为主的方案变成以闪存盘位主的方案,甚至是 NVMe 盘为主的方案。其次,为了进一步提升性能,一般需要一个更高性能的介质作为缓存层,用来承载元数据、热数...显示全部

分布式块存储的性能要从几个方面来提升。
首先,存储性能的提升依赖于存储介质的提升。这是最根本的。比如从传统的以机械硬盘为主的方案变成以闪存盘位主的方案,甚至是 NVMe 盘为主的方案。
其次,为了进一步提升性能,一般需要一个更高性能的介质作为缓存层,用来承载元数据、热数据、写缓存等等,这样就需要像 Intel 的傲腾固态盘或者傲腾非易失性内存了。
第三,除了硬件介质以外,在软件层也需要做相应的适配,以便能把硬件的性能发挥出来,这样的话,使用 SPDK 或者 IOU-ring 这样的用户态驱动以替代传统的内核驱动,就非常有必要了。另外整体软件架构也需要做适配和精简,以避免不必要的浪费。
第四,网络侧也需要有高带宽、低延时、有先进特性的网络以进行适配,如 RDMA 、 ADq 等技术。

收起
硬件生产 · 2021-12-21
浏览757
匿名用户匿名用户
作为金融机构,其实不仅仅是联机交易,批扣业务对分布式存储的性能要求更加苛刻,抛砖引玉,对于性能优化不能仅仅依靠存储介质,更多的需要从架构和应用着手。1、硬件升级,采取全闪存的方式,提高IO读写能力。2、优化IO路径和通信框架,IO路径方面,可以通过中间层cache的方式,通信框架完...显示全部

作为金融机构,其实不仅仅是联机交易,批扣业务对分布式存储的性能要求更加苛刻,抛砖引玉,对于性能优化不能仅仅依靠存储介质,更多的需要从架构和应用着手。
1、硬件升级,采取全闪存的方式,提高IO读写能力。
2、优化IO路径和通信框架,IO路径方面,可以通过中间层cache的方式,通信框架完全是架构升级。
3、优化每个业务模块的处理时间。
4、优化磁盘布局, 利用增加数据缓存层来降低延迟,即利用在存储节点给多块HDD配置一块SSD。
5、增加数据缓存层,通过前后两端的缓存引擎来降低途中的IO性能损耗,比如在后端缓存的基础上增加客户端缓存层,在海量sql的基础上增加KV的内部计算。

收起
银行 · 2021-12-15
浏览749

提问者

Dongxin
系统架构师某银行股份有限公司
擅长领域: 服务器灾备存储

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-12-15
  • 关注会员:4 人
  • 问题浏览:1540
  • 最近回答:2021-12-21
  • X社区推广