数据仓实时采集技术对被采集系统有什么要求?

保险业数据库种类较多,数据量也比较大,对数据处理的审计要求也比较高,要确保数据安全和减少流出渠道。如使用最新的实时采集技术,对数据仓是一个好消息,但对被采集的数据库是否有其它要求,比如版本、编码、增加接口这些,特别是不同种类的数据库,如何保证主数据库安全是使用前首先...显示全部

保险业数据库种类较多,数据量也比较大,对数据处理的审计要求也比较高,要确保数据安全和减少流出渠道。如使用最新的实时采集技术,对数据仓是一个好消息,但对被采集的数据库是否有其它要求,比如版本、编码、增加接口这些,特别是不同种类的数据库,如何保证主数据库安全是使用前首先看重的问题。

收起
参与7

查看其它 1 个回答Ott的回答

OttOtt  项目经理 , 科技部

目前实时数据采集有两种主流模式,一种是kafka+spark的应用日志处理或者网络旁路获取实时数据,这种要求日志的规则性及报文的可追踪。一种是基于ogg的数据库日志同步,但用于数据分析处理的采集多基于备库,较少直连生产主数据库。

银行 · 2019-08-31
浏览2006

回答者

Ott
项目经理科技部
擅长领域: 大数据数据库实时数仓

Ott 最近回答过的问题

回答状态

  • 发布时间:2019-08-31
  • 关注会员:3 人
  • 回答浏览:2006
  • X社区推广