数据仓实时采集技术对被采集系统有什么要求?

保险业数据库种类较多,数据量也比较大,对数据处理的审计要求也比较高,要确保数据安全和减少流出渠道。如使用最新的实时采集技术,对数据仓是一个好消息,但对被采集的数据库是否有其它要求,比如版本、编码、增加接口这些,特别是不同种类的数据库,如何保证主数据库安全是使用前首先看重的问题。

2回答

赵晓勇赵晓勇  项目经理 , 日志易
你好,可以通过主备分离或者搭建一个从库。这个库仅供数据采集使用,从而保障主库或者原库在采集过程中不受任何影响。我们是做实时日志分析的,可以实时采集分析常见数据库,比如:db2,mysql,oracle,sqlserver等多家主流数据库。同时我公司在保险行业有多家采集分析经验。希望可以...显示全部

你好,可以通过主备分离或者搭建一个从库。这个库仅供数据采集使用,从而保障主库或者原库在采集过程中不受任何影响。
我们是做实时日志分析的,可以实时采集分析常见数据库,比如:db2,mysql,oracle,sqlserver等多家主流数据库。同时我公司在保险行业有多家采集分析经验。希望可以给你提供一些参考。
如果想了解更多信息,可以参考公司官网www.rizhiyi.com。

收起
 2019-11-05
浏览562
OttOtt  项目经理 , 科技部
目前实时数据采集有两种主流模式,一种是kafka+spark的应用日志处理或者网络旁路获取实时数据,这种要求日志的规则性及报文的可追踪。一种是基于ogg的数据库日志同步,但用于数据分析处理的采集多基于备库,较少直连生产主数据库。...显示全部

目前实时数据采集有两种主流模式,一种是kafka+spark的应用日志处理或者网络旁路获取实时数据,这种要求日志的规则性及报文的可追踪。一种是基于ogg的数据库日志同步,但用于数据分析处理的采集多基于备库,较少直连生产主数据库。

收起
 2019-08-31
浏览702

提问者

minggo1984系统工程师, 联丰亨保险

分布式关系型数据库选型优先顺序调查

发表您的选型观点,参与即得50金币。

问题状态

  • 发布时间:2019-08-23
  • 关注会员:3 人
  • 问题浏览:2290
  • 最近回答:2019-11-05