核心系统不是独立的系统,会与外围系统进行大量的数据交互,例如数仓卸数和实时数仓,如何给这些系统供数,如何既能保证数据实效性又能对不影响核心系统正常运行。
核心系统与外围系统进行数据交互,根据场景,可以通过如下方案解决:
1)T+1应用:卸数,通常需要取多个表的全量数据,取数量大,时间长,建议通过只读账户直接从备库取数。
2)实时应用:例如实时数仓,需要实时取数,可以通过数据准实时同步到消息队列(例如kafka)方式与大数据实时计算平台对接,同时不影响生产,建议从备机同步。
收起1. 传统意义上的核心系统与外围系统的数据交互有,但不应该太多。从本质上来讲,核心系统主要的任务不应该是交易,而更多的应该是批量、清算等。
2. 数仓与包括核心系统在内的交易系统进行交互时,主要是通过卸数+导入的过程来实现,可以考虑建设ODS数据平台,各系统将数据统一卸载到ODS平台,再导入数仓。
3. 实时数仓可以通过读写分离的方式来减少性能影响。