分两部分,一是将批处理交易化,借助于分布式数据库带来的高并发能力,快速批量处理,这方面需要应用支持,像我行的核心日终处理根据分布式特点,采用shardkey进行批次拆分,不同执行器抓取不同数据,任务分配到各个执行器执行,极大的提高了跑批效率。另一部分是传统批处理,批量更新从设计...
显示全部分两部分,一是将批处理交易化,借助于分布式数据库带来的高并发能力,快速批量处理,这方面需要应用支持,像我行的核心日终处理根据分布式特点,采用shardkey进行批次拆分,不同执行器抓取不同数据,任务分配到各个执行器执行,极大的提高了跑批效率。
另一部分是传统批处理,批量更新从设计方面做了处理,尽量少的使用关联更新,如果存在性能问题则进行语句拆分,最终使用单表更新。
如何拆分,需要具体问题具体分析,不同的分布式数据库,其应对方式可能完全不同。
收起