实时数据处理一般的架构形式,传统运营商的处理方式与电商行业有何区别?

实时数据处理一般的架构形式,传统运营商的处理方式与电商行业有何区别?

参与11

2同行回答

美国队长美国队长  研发工程师 , Alibaba
运营商,Kafaka+redis(memcache)+storm(spark)  电商,Kafaka+redis+storm+Hbase这个只能作为一种技术选型的参考,可能有的用传统数据库都能达到实时处理的目的。另外选这几个技术的理由:Kafaka优秀的容错能力当出现数据传输中出现问题时候能够根据其日志的时间戳进...显示全部

运营商,Kafaka+redis(memcache)+storm(spark)

  电商,Kafaka+redis+storm+Hbase

这个只能作为一种技术选型的参考,可能有的用传统数据库都能达到实时处理的目的。另外选这几个技术的理由:Kafaka优秀的容错能力当出现数据传输中出现问题时候能够根据其日志的时间戳进行回滚,redis由于其能够将数据持久化通过搭建集群提高并发处理能力,storm的流式数据处理采用不同的数据传输机制保障数据迅速处理,hbase由于底层的实现相同的key具体聚合功能,尤其blomfilter是处理实时数据的优势,spark由于其处理数据都在内存中运行保障了数据处理的效率

收起
互联网服务 · 2015-10-14
浏览1284
lufeng1102lufeng1102  软件架构设计师 , cm
可能还会用到Flume, 一般的顺序可能是这样的Kafka+Spark Streaming+Redis。这里的redis不像是做数据处理的,更像是做数据库,提高并发访问的效率。显示全部

可能还会用到Flume, 一般的顺序可能是这样的Kafka+Spark Streaming+Redis。这里的redis不像是做数据处理的,更像是做数据库,提高并发访问的效率。

收起
软件开发 · 2015-10-15
浏览1130

提问者

Lancer
Lancer91718
项目经理互联网
擅长领域: 数据库服务器大数据

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-10-14
  • 关注会员:4 人
  • 问题浏览:4816
  • 最近回答:2015-10-15
  • X社区推广