数据仓实时采集技术对被采集系统有什么要求?

保险业数据库种类较多,数据量也比较大,对数据处理的审计要求也比较高,要确保数据安全和减少流出渠道。如使用最新的实时采集技术,对数据仓是一个好消息,但对被采集的数据库是否有其它要求,比如版本、编码、增加接口这些,特别是不同种类的数据库,如何保证主数据库安全是使用前首先看重的问题。

参与7

2同行回答

赵晓勇赵晓勇项目经理日志易
你好,可以通过主备分离或者搭建一个从库。这个库仅供数据采集使用,从而保障主库或者原库在采集过程中不受任何影响。我们是做实时日志分析的,可以实时采集分析常见数据库,比如:db2,mysql,oracle,sqlserver等多家主流数据库。同时我公司在保险行业有多家采集分析经验。希望可以...显示全部

你好,可以通过主备分离或者搭建一个从库。这个库仅供数据采集使用,从而保障主库或者原库在采集过程中不受任何影响。
我们是做实时日志分析的,可以实时采集分析常见数据库,比如:db2,mysql,oracle,sqlserver等多家主流数据库。同时我公司在保险行业有多家采集分析经验。希望可以给你提供一些参考。
如果想了解更多信息,可以参考公司官网www.rizhiyi.com。

收起
互联网服务 · 2019-11-05
浏览1817
OttOtt项目经理科技部
目前实时数据采集有两种主流模式,一种是kafka+spark的应用日志处理或者网络旁路获取实时数据,这种要求日志的规则性及报文的可追踪。一种是基于ogg的数据库日志同步,但用于数据分析处理的采集多基于备库,较少直连生产主数据库。...显示全部

目前实时数据采集有两种主流模式,一种是kafka+spark的应用日志处理或者网络旁路获取实时数据,这种要求日志的规则性及报文的可追踪。一种是基于ogg的数据库日志同步,但用于数据分析处理的采集多基于备库,较少直连生产主数据库。

收起
银行 · 2019-08-31
浏览2031

提问者

minggo1984
系统工程师联丰亨保险
擅长领域: 存储软件定义存储安全

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-08-23
  • 关注会员:3 人
  • 问题浏览:3881
  • 最近回答:2019-11-05
  • X社区推广