保险业数据库种类较多,数据量也比较大,对数据处理的审计要求也比较高,要确保数据安全和减少流出渠道。如使用最新的实时采集技术,对数据仓是一个好消息,但对被采集的数据库是否有其它要求,比如版本、编码、增加接口这些,特别是不同种类的数据库,如何保证主数据库安全是使用前首先看重的问题。
目前实时数据采集有两种主流模式,一种是kafka+spark的应用日志处理或者网络旁路获取实时数据,这种要求日志的规则性及报文的可追踪。一种是基于ogg的数据库日志同步,但用于数据分析处理的采集多基于备库,较少直连生产主数据库。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30