如何利用大数据整合挖掘各个独立的业务平台,实现数据集采?

电信运营商存在众多业务平台由不同厂家开发、各自为政现象,如何利用大数据整合挖掘各个独立的业务平台,实现数据集采?

参与22

4同行回答

朱祥磊朱祥磊  系统架构师 , 某移动公司
可以考虑因为分布式采集和分布式消息队列机制实现,例如采用kafka/flume,一个可参考处理流程如下:1、分布式采集:负责从各个业务应用节点上实时采志数据,可以指定目录或文件,通过flume实现,仅增量采集数据。2、分布式消息层:由于上述采集数据的速度和数据处理的速度不一定同步,增加...显示全部

可以考虑因为分布式采集和分布式消息队列机制实现,例如采用kafka/flume,一个可参考处理流程如下:

1、分布式采集:负责从各个业务应用节点上实时采志数据,可以指定目录或文件,通过flume实现,仅增量采集数据。

2、分布式消息层:由于上述采集数据的速度和数据处理的速度不一定同步,增加分布式消息曾作为缓冲,防止丢失数据,采用kafka。

3、判断处理层:对采集的数据进行实时分析,选用spark-streaming+redis实现。

4、展示和告警层:对分析结果存储在mysql数据库中,并进行告警展示,主要错误实现语音拨号。

收起
电信运营商 · 2016-07-15
浏览2096
zhangqixfzhangqixf  管理信息系统总监 , 湖南容润投资有限公司
采集的规范也很重要,采集到的数据应该是准确、规范,而不是垃圾数据显示全部

采集的规范也很重要,采集到的数据应该是准确、规范,而不是垃圾数据

收起
机械装备 · 2016-07-21
浏览1688
jjww005jjww005  其它 , fj
数据质量也很重要,数据质量好坏直接决定分析结果的准确性显示全部

数据质量也很重要,数据质量好坏直接决定分析结果的准确性

收起
电信运营商 · 2016-07-15
浏览1662
月光无寒1月光无寒1  软件开发工程师 , 111
sqoop kafaka 但是,最最好用,我认为是脚本直接采集ftp  显示全部

sqoop kafaka 但是,最最好用,我认为是脚本直接采集ftp  

收起
互联网服务 · 2016-07-15
浏览1765

提问者

蓝石
系统运维工程师电信

问题来自

  • 相关问题

    相关资料

    相关文章

    问题状态

  • 发布时间:2016-07-14
  • 关注会员:9 人
  • 问题浏览:6306
  • 最近回答:2016-07-21
  • X社区推广