传统数据库迁移自建云平台后如何解决IO瓶颈问题?

传统数据库迁移云平台之后,遇到的最大问题就是在较大业务压力的时候会出现明显的IO瓶颈,早期是采用集中存储方式IO问题严重,后期采用分布式存储测试效果也并不是很理想,是因为我们云化平台的主机数量太少的缘故么?我们这边整体主机数量大概几十台主机的规模。

5回答

zhuqibszhuqibs  软件开发工程师 , Mcd
zhanghaiyanzhangpinhongdi等赞同了此回答
应该说,只要有好的规划、有钱,IO根本不是事儿,自建的云平台以openstack为例,分为计算中心、网络中心,存储中心,调研以下三方面内容(1)IO太慢,那一定是存储中心的问题,存储中心的cpu消耗和内存消耗要调研一下,如果太高了,要增加服务器,(2)此外存储中心的服务器的磁盘全部换上ssd,(3)openstac...显示全部

应该说,只要有好的规划、有钱,IO根本不是事儿,自建的云平台以openstack为例,分为计算中心、网络中心,存储中心,调研以下三方面内容
(1)IO太慢,那一定是存储中心的问题,存储中心的cpu消耗和内存消耗要调研一下,如果太高了,要增加服务器,
(2)此外存储中心的服务器的磁盘全部换上ssd,
(3)openstack的存储效率也是基于网络的,所以查一下,存储中心到其他两个中心的内网连接是不是有问题。

收起
 2020-04-02
浏览310
youki2008youki2008  系统架构师 , 广东溢达
wfang_2020wangxqtuomi2013赞同了此回答
IO瓶颈一般都出现在硬件上,如果不差钱的话建议升级存储,例如全部换成全闪存存储。显示全部

IO瓶颈一般都出现在硬件上,如果不差钱的话建议升级存储,例如全部换成全闪存存储。

收起
 2020-04-24
michael1983michael1983  技术经理 , 某证券
什么系统?业务压力是什么类型的?还是要把问题和环境说清楚呀。单纯只是存储IO瓶颈的话,从集中存储迁到分布式存储效果都不理想,迁到云上肯定不会好的。显示全部

什么系统?业务压力是什么类型的?
还是要把问题和环境说清楚呀。
单纯只是存储IO瓶颈的话,从集中存储迁到分布式存储效果都不理想,迁到云上肯定不会好的。

收起
 2020-04-02
浏览284
1、通常来说传统数据库迁移至云平台时,我们对整体框架不做过多的变更,这意味着从数据库角度来讲基础的优化手段是不变的,这样数据库内部的索引/表/数据文件/分区/各种参数等优化过的结构都不会变。这样一来面临的主要瓶颈就只剩网络 I/O 和磁盘读写 I/O 两个重要问题需要解...显示全部

1、通常来说传统数据库迁移至云平台时,我们对整体框架不做过多的变更,这意味着从数据库角度来讲基础的优化手段是不变的,这样数据库内部的索引/表/数据文件/分区/各种参数等优化过的结构都不会变。这样一来面临的主要瓶颈就只剩网络 I/O 和磁盘读写 I/O 两个重要问题需要解决。

2、通常意义上通过增加计算能力就可以满足业务需求的数据库就不考虑其I/O瓶颈了,我们只考虑性能敏感数据库。

3、数据库网络I/O优化建议考虑通过多网络平面来实现在云平台内部的网络通道优化,通过Multus这样的项目可以将数据网络通信独立到高质量网卡及对应交换机上,从而优化其网络通信能力,这包含了前段访问网络,也包含了实例间通信网络和实例至存储通信网络。但这也意味着容器化数据库的实例搭建不能完全标准化,要基于容器云平台的多网络平面设计进行适应性调整。

4、由于传统数据库迁移至云平台时通常会综合考虑多实例的调整,由于容器云平台更适应多实例统一工作,因此在多实例间的路由与转发也是需要关注的优化点。像Openshift这样基于 iptables 来实现内部service通信底层实现的方式可以有效的提升多节点间互通信息的连接效率。

5、目前来讲容器云到存储的解决方案还没有统一的高性能实现途径,大都是根据不同存储解决方案自身特点来实现的,因此最终优化途径要落实到具体选择的那种存储方案上。选择传统的高性能存储,利用Storage Class Plugin 来实现与原有存储完全一致的方案仍然是最主要提升存储I/O性能的方案。但目前也有大量的软定义存储厂商在提供各自的高性能云化存储方案,比如有些云存储厂商正在提供基于 Infiniband + RDMA 来实现PV供应的方案,从理论上来说类似这样的方案一定能够有效提升存储 I/O 的性能,有些方案可以直追高性能存储方案。但是由于这种厂商方案通常比较新,没有经过长期的市场验证。需要我们对其进行全面细致的适应性评估。

收起
 2020-04-02
浏览292
hufeng719hufeng719  系统工程师 , 某钢铁企业
个人感觉应该想下所谓的IO瓶颈是什么?主要在磁盘上对吧。无论是传统存储还是分布式存储你主要看下磁盘是哪种类型?闪存盘还是普通SAS盘 ,普通SAS盘的话转速多少?一般大容量TB的机械盘转速都不会太高。这是制约性能的一大因素。还取决于你对数据库系统分配的虚拟化资源(CPU、...显示全部

个人感觉应该想下所谓的IO瓶颈是什么?主要在磁盘上对吧。无论是传统存储还是分布式存储你主要看下磁盘是哪种类型?闪存盘还是普通SAS盘 ,普通SAS盘的话转速多少?一般大容量TB的机械盘转速都不会太高。这是制约性能的一大因素。还取决于你对数据库系统分配的虚拟化资源(CPU、内存大小)等,跟主机数量多少没关系吧。

收起
 2020-04-02
浏览303

提问者

小人书黑数据库管理员, 河南联通

分布式关系型数据库选型优先顺序调查

发表您的选型观点,参与即得50金币。

问题状态

  • 发布时间:2020-04-01
  • 关注会员:6 人
  • 问题浏览:1671
  • 最近回答:2020-04-24