作为金融机构,其实不仅仅是联机交易,批扣业务对分布式存储的性能要求更加苛刻,抛砖引玉,对于性能优化不能仅仅依靠存储介质,更多的需要从架构和应用着手。
1、硬件升级,采取全闪存的方式,提高IO读写能力。
2、优化IO路径和通信框架,IO路径方面,可以通过中间层cache的方式,通信框架完全是架构升级。
3、优化每个业务模块的处理时间。
4、优化磁盘布局, 利用增加数据缓存层来降低延迟,即利用在存储节点给多块HDD配置一块SSD。
5、增加数据缓存层,通过前后两端的缓存引擎来降低途中的IO性能损耗,比如在后端缓存的基础上增加客户端缓存层,在海量sql的基础上增加KV的内部计算。
分布式块存储的性能要从几个方面来提升。
首先,存储性能的提升依赖于存储介质的提升。这是最根本的。比如从传统的以机械硬盘为主的方案变成以闪存盘为主的方案,甚至是 NVMe 盘为主的方案。
其次,为了进一步提升性能,一般需要一个更高性能的介质作为缓存层,用来承载元数据、热数据、写缓存等等,这样就需要像 Intel 的傲腾固态盘或者傲腾非易失性内存了。
第三,除了硬件介质以外,在软件层也需要做相应的适配,以便能把硬件的性能发挥出来,这样的话,使用 SPDK 或者 IOU-ring 这样的用户态驱动以替代传统的内核驱动,就非常有必要了。另外整体软件架构也需要做适配和精简,以避免不必要的浪费。第四,网络侧也需要有高带宽、低延时、有先进特性的网络以进行适配,如 RDMA 、 ADq 等技术。
第四,网络侧也需要有高带宽、低延时、有先进特性的网络以进行适配,如 RDMA 、 ADq 等技术。
主要从如下几个方面提升性能: