在1000G以上有全采全处理的案例么?

目前用户实时标签,在公网出口达到1000G以上级别的时候,仍然是用采样的方式,目前解决方案在1000G以上有全采全处理的案例么?

参与7

4同行回答

xuyanhuixuyanhui信息分析/架构师58同城大数据
这个数据量很大啊,不过还是有办法解决这样的需求的,每秒1T的数据,首先注定是一个集群在吐出数据,可以先讲数据分组,例如100各组,分组数据落地,进行离线的数据全量采样,采用实时采样与离线全量计算相加的方式去处理需求。...显示全部

这个数据量很大啊,不过还是有办法解决这样的需求的,每秒1T的数据,首先注定是一个集群在吐出数据,可以先讲数据分组,例如100各组,分组数据落地,进行离线的数据全量采样,采用实时采样与离线全量计算相加的方式去处理需求。

收起
互联网服务 · 2015-11-06
浏览1372
zv8912000zv8912000系统架构师电信行业
could you tell me what case made 1000G per second,it is 10000GE net,is there some hardware support?显示全部

could you tell me what case made 1000G per second,it is 10000GE net,is there some hardware support?

收起
电信运营商 · 2015-11-06
浏览1325
月光无寒月光无寒系统工程师新疆电信
我说的1000G是每秒流量,不是一天的!显示全部

我说的1000G是每秒流量,不是一天的!

收起
电信运营商 · 2015-11-06
浏览1338
zv8912000zv8912000系统架构师电信行业
    用户实时标签采用的用户上网,如果公网出口达1000GB以上(每日),应采用流处理方式、内存网格处理技术和内存分析处理技术,目前各大运营商都有相关案例。storm spark 开源技术、streams coherence esp  gemfire 等商业软件都有成熟的应用。...显示全部

    用户实时标签采用的用户上网,如果公网出口达1000GB以上(每日),应采用流处理方式、内存网格处理技术和内存分析处理技术,目前各大运营商都有相关案例。storm spark 开源技术、streams coherence esp  gemfire 等商业软件都有成熟的应用。

收起
电信运营商 · 2015-11-06
浏览1289

提问者

月光无寒
系统工程师新疆电信
擅长领域: 大数据服务器大数据处理

问题来自

问题状态

  • 发布时间:2015-11-06
  • 关注会员:3 人
  • 问题浏览:5683
  • 最近回答:2015-11-06
  • X社区推广