如何应对外围系统到核心系统取数的问题?

核心系统不是独立的系统,会与外围系统进行大量的数据交互,例如数仓卸数和实时数仓,如何给这些系统供数,如何既能保证数据实效性又能对不影响核心系统正常运行。

参与17

4同行回答

lulihuan1987lulihuan1987  数据库管理员 , 张家港行
核心系统与外围系统进行数据交互,根据场景,可以通过如下方案解决:1)T+1应用:卸数,通常需要取多个表的全量数据,取数量大,时间长,建议通过只读账户直接从备库取数。2)实时应用:例如实时数仓,需要实时取数,可以通过数据准实时同步到消息队列(例如kafka)方式与大数据实时计算平台对接,同时...显示全部

核心系统与外围系统进行数据交互,根据场景,可以通过如下方案解决:

1)T+1应用:卸数,通常需要取多个表的全量数据,取数量大,时间长,建议通过只读账户直接从备库取数。

2)实时应用:例如实时数仓,需要实时取数,可以通过数据准实时同步到消息队列(例如kafka)方式与大数据实时计算平台对接,同时不影响生产,建议从备机同步。

收起
银行 · 2021-06-24
浏览1388
huang508huang508  软件开发工程师 , 南昌市
方法挺多的,看你数据的大小和实时性要求。显示全部

方法挺多的,看你数据的大小和实时性要求。

收起
互联网服务 · 2023-06-02
浏览405
1. 传统意义上的核心系统与外围系统的数据交互有,但不应该太多。从本质上来讲,核心系统主要的任务不应该是交易,而更多的应该是批量、清算等。2. 数仓与包括核心系统在内的交易系统进行交互时,主要是通过卸数+导入的过程来实现,可以考虑建设ODS数据平台,各系统将数据统一卸载...显示全部

1. 传统意义上的核心系统与外围系统的数据交互有,但不应该太多。从本质上来讲,核心系统主要的任务不应该是交易,而更多的应该是批量、清算等。
2. 数仓与包括核心系统在内的交易系统进行交互时,主要是通过卸数+导入的过程来实现,可以考虑建设ODS数据平台,各系统将数据统一卸载到ODS平台,再导入数仓。
3. 实时数仓可以通过读写分离的方式来减少性能影响。

收起
IT咨询服务 · 2021-06-29
浏览1302
一力搜索一力搜索  数据库架构师 , 股份制银行
这些场景完全可以读写分离。备库做就行,脚本自动寻找备库显示全部

这些场景完全可以读写分离。备库做就行,脚本自动寻找备库

收起
银行 · 2021-06-23
浏览1300

提问者

wanggeng
系统运维工程师某银行
擅长领域: 服务器存储数据库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-06-18
  • 关注会员:5 人
  • 问题浏览:2409
  • 最近回答:2023-06-02
  • X社区推广