在分布式数据库项目中,为进行系统规格设计,如何进行定量需求分析?需要收集哪些需求数据信息?

在分布式数据库项目中,为进行系统规格设计,如何进行定量需求分析?需要收集哪些需求数据信息?

参与14

3同行回答

顾黄亮顾黄亮课题专家组技术总监畅销书作者
一般情况下, 在分布式数据库项目中,为进行系统规格设计需要考虑下列方面的准备。1、如何进行服务器选型:一般分布式数据库都会采用廉价x86 pc服务器,搭配本地ssd固态盘、万兆网卡,硬件成本较低。2、软件规划和部署方案:分布式数据库组件众多,而且每个组件都有高可用备份,所以在有...显示全部

一般情况下, 在分布式数据库项目中,为进行系统规格设计需要考虑下列方面的准备。
1、如何进行服务器选型:一般分布式数据库都会采用廉价x86 pc服务器,搭配本地ssd固态盘、万兆网卡,硬件成本较低。
2、软件规划和部署方案:分布式数据库组件众多,而且每个组件都有高可用备份,所以在有限数量的服务器下进行组件的分配要尽量考虑达到各个服务器负载的均衡,gtm作为分布式数据库的瓶颈尽量和他们组件分开部署。
3、监控方案: 监控一般可以采用开源的zabbix进行定制化开发,当然也可以基grafana+prometheus的方案做监控。
4、如何进行调优:因为不同厂商研发的数据库sql优化器及执行计划都有所不同,所以要根据不同产品进行学习。
5、备份方案:分布式数据库如何做一致性备份也是研发难点,要做到真正意义上的pitr就需要做到分布式环境下每个全局事务的“barrier”操作。
6、应急方案:因为分布式数据库还处于发展阶段,还不成熟,技术比较复杂,所以生产环境下要制定详细的应急方案,让不了解分布式数据库的同事也能够在出现问题时按照手册操作。

此外还需要一些数据的收集,如下
1、系统的最大并发数:为了节省成本,多套小系统可以共用一套数据库,但是负载很大的高并发场景还是独立搭建。
2、系统的最大数据量:多租户系统下需要考虑各个系统的数据量之和。
3、系统最大可容忍的业务中断时间: 分布式数据库节点宕机并不是对业务没有任何影响,主节点宕机都涉及到一个切换的问题,切换就是影响业务的时间,要充分评估业务能否忍受这么长时间的中断。
4、系统的迁移成本:分布式数据库不可能做到oracle、db2、mysql所有数据库的百分之百兼容,所以不同类型的数据库在迁移上都会或多或少的涉及到应用的改造。

收起
银行 · 2021-04-27
浏览1436
wanglayewanglaye课题专家组信息技术经理某大型金融机构
题主说的“系统规格设计”,具体包括哪些内容可以详细描述一下。我从分布式数据库规模角度分享一下经验。业务系统层面,要调研系统数量、各系统业务量(包括总交易量、各种交易TPS等)、每种交易对数据库的sql条数(尤其关注读写频率,查询也要统计),从而大致计算出QPS。分布式数据库...显示全部

题主说的“系统规格设计”,具体包括哪些内容可以详细描述一下。
我从分布式数据库规模角度分享一下经验。
业务系统层面,要调研系统数量、各系统业务量(包括总交易量、各种交易TPS等)、每种交易对数据库的sql条数(尤其关注读写频率,查询也要统计),从而大致计算出QPS。
分布式数据库层面,重点关注性能测试数据、服务器配置参数,一般主流3副本,对应3台服务器,以此作为组合,关注可以支持多少QPS,从而计算出服务器数量需求。需要注意的是,分布式数据库厂商提供的性能测试采用的服务器参数,一般是高配服务器,如果实际生产使用服务器配置降低,则要考虑性能数据损耗。

收起
银行 · 2021-04-29
浏览1444
luxh08luxh08科技部门副总某互联网银行
不是所有系统都适合分布式架构,技术为业务服务,主要考虑成本和收益的平衡,分布式数据库的使用场景,应该是海量数据、海量用户、海量交易数,单机数据库可以处理的场景不建议采用分布式数据库,分布式数据库的使用会有成本的,比如应用适配成本、运维成本、硬件成本,能用单机数据库支...显示全部

不是所有系统都适合分布式架构,技术为业务服务,主要考虑成本和收益的平衡,分布式数据库的使用场景,应该是海量数据、海量用户、海量交易数,单机数据库可以处理的场景不建议采用分布式数据库,分布式数据库的使用会有成本的,比如应用适配成本、运维成本、硬件成本,能用单机数据库支撑的业务场景就尽量用单机库,但是还要考虑业务的发展,最好是能判断3年的数据量和交易量。

收起
银行 · 2021-04-29
浏览1518

提问者

Senko lee
系统架构师江西裕民银行
擅长领域: 服务器灾备存储

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-04-25
  • 关注会员:4 人
  • 问题浏览:2599
  • 最近回答:2021-04-29
  • X社区推广