如何利用大数据整合挖掘各个独立的业务平台,实现数据集采?

电信运营商存在众多业务平台由不同厂家开发、各自为政现象,如何利用大数据整合挖掘各个独立的业务平台,实现数据集采?显示全部

电信运营商存在众多业务平台由不同厂家开发、各自为政现象,如何利用大数据整合挖掘各个独立的业务平台,实现数据集采?

收起
参与22

查看其它 3 个回答朱祥磊的回答

朱祥磊朱祥磊系统架构师某移动公司

可以考虑因为分布式采集和分布式消息队列机制实现,例如采用kafka/flume,一个可参考处理流程如下:

1、分布式采集:负责从各个业务应用节点上实时采志数据,可以指定目录或文件,通过flume实现,仅增量采集数据。

2、分布式消息层:由于上述采集数据的速度和数据处理的速度不一定同步,增加分布式消息曾作为缓冲,防止丢失数据,采用kafka。

3、判断处理层:对采集的数据进行实时分析,选用spark-streaming+redis实现。

4、展示和告警层:对分析结果存储在mysql数据库中,并进行告警展示,主要错误实现语音拨号。

电信运营商 · 2016-07-15
浏览2130

回答者

朱祥磊
系统架构师某移动公司
擅长领域: 人工智能云计算大数据

朱祥磊 最近回答过的问题

回答状态

  • 发布时间:2016-07-15
  • 关注会员:9 人
  • 回答浏览:2130
  • X社区推广