hanfeng_twt
作者hanfeng_twt·2022-05-11 13:43
数据库架构师·SphereEx

商业银行分布式数据库选型路径及实时分析场景实践

字数 4983阅读 8182评论 7赞 6

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

6

添加新评论7 条评论

hanfeng_twthanfeng_twt数据库架构师SphereEx
2022-05-25 17:32
你好,感谢回复。你提到的两点:
ghl116ghl116联盟成员软件开发工程师兴业数金
2022-05-25 10:10
感谢分享,数据库作为重要的基础设施,在选型和建设方面需要慎之又慎。本文对于银行进行分布式数据库的选型提供了非常好的参考。另外,目前数据库云原生方面,我了解到有些企业担心在生产环境通过K8s来部署管控数据库Mysql会有性能损失,所以都不建议数据库Mysql上K8s。 您对于这种情况怎么看?

ghl116@hanfeng_twt 好的,谢谢

2022-05-25 21:12

hanfeng_twt@ghl116 容器化对于数据库意义需要想清楚,对于部分金融业内的互联网业务是可以考虑的。

2022-05-25 17:30
匿名用户
2022-05-24 14:31
写得非常好,分布式数据库应用范围广,给分布式数据库应用提供了思路。谢谢!
匿名用户
2022-05-24 09:28
感谢分享,为我们数据库建设和规划提供了很好的思路,尤其是分布式数据库在金融行业的应用场景,对我们数据库选型很有参考意义,先收藏再仔细研究。
zy7227zy7227联盟成员网络工程师bank
2022-05-23 14:46
感谢分享,对于我们建设和规划提供了思路,有很好的借鉴意义,同时单从技术路线发展来看,也是未来要经历的事情,先学习一下。
wanggengwanggeng联盟成员系统运维工程师某银行
2022-05-18 08:51
感谢感谢分享,可以很好的指导我们在选型分布式数据库如何选择,提供指导思想,收藏了!
zhmwangzhmwangPDOceanBase
2022-05-15 16:31
韩老师,您好,关于您说的2个小点,我有不同的意见: 1 分布式架构,自然会带来分布式事务的问题 目前OceanBase通过表级别数据不打散,通过设置Primary Zone以及Table Group的方式,可以将事务固定到单台机器上,从而实现分布式框架下的非分布式事务,主要的消耗本质是在redo 日志的Recover。 2 分布式数据库,多采用存算分离架构 这个点确实如此,国内大部分使用分库分表方案和TIDB都使用了本方案,您可以考察一下OceanBase, 对于OLTP类型的应用,OB通过LSM Tree架构以及内存改造和优化,提升Transaction的响应速度,这个是Oracleh ADG /DB2 HADR架构都无法比拟的。另外OceanBase是MPP架构,根据以上所说,天生具体OLAP能力,您也可以一并考察一下。

zhmwang@hanfeng_twt 韩老师,关于第一点分布式事务: OB的数据分布策略是按照表分区来实现的(单表的话即为一个分区,因此对单表的操作不会产生分布式事务,目前OB建议单表数据量高于100G(OB自身通过压缩算法,大概压缩比为5-10倍,即再Oracle/DB2/MySQL上单表高于500G),再进行分区设计,客户可根据实际业务情况进行考量)。因此从设计角度来看,需要区分业务规模: 对于小业务(按照OB的设计理念),大中型企业内部 大概约70-80%的业务都可以使用单表实现。而对于分区表的场景,摘自官网:OceanBase 通过引入表格组(table group)来尽可能地减少分布式事务。表格组用于聚集经常一起访问的多张表格。例如,有用户基本信息表(user)和用户商品表(user_item),这两张表格都按照用户编号哈希分布,只需要将二者设置为相同的表格组,系统后台就会自动将同一个用户所在的 user 表分区和 user_item 表分区调度到同一台服务器。这样,即使操作某个用户的多张表格,也不会产生跨机事务。2 对于分片不均的问题,OB提供非模板化二级分区,即对发生了数据倾斜的分区单独进行分区。具体可以参考:https://www.oceanbase.com/docs/enterprise/oceanbase-database/oceanbase-database/V3.1.2/create-a-level-2-partition-table-1。同时OB也提供类似复制表功能(传统的小的维度表复制到所有分区的方式)来减少分布式事务。3 对于OLTP,OB基于LSM-Tree,属于准内存处理,性能上肯定是超过传统数据库的,这个在内外部客户的使用上已经证明过啦。4 对于OLAP,OB属于MPP架构,需要架构师对于业务有更深层次的理解,合理的进行分区设计,使用tablegroup以及复制表等,尽量减少分布式事务,目前类似的资料内部正在整理中,预计很快会对外公布。

2022-05-29 09:29

hanfeng_twt@zhmwang 感谢回复,您提到的两点: 1.分布式事务,如果OB能将数据分片固定到某一台机器上,减少网络开销,那是不错的实现。具体细节不了解,可提供说明。此外,这一方式当面临分片不均匀、分片过大的情况等,还是会带来跨服务器的处理吧。 2.对于OLTP和OLAP方面,OB的能力可以多介绍下,我也学习下

2022-05-25 17:35
Ctrl+Enter 发表

本文隶属于专栏

最佳实践
不同的领域,都有先行者,实践者,用他们的最佳实践来加速更多企业的建设项目落地。

作者其他文章

相关文章

相关问题

X社区推广