实时数据流平台 - 主题 - twt企业IT交流平台

热点

kafka·2017-09-27

51 会员关注

我们把这个系统叫做发布管道（PublishingPipeline）。这篇文章主要关注后端的系统，我们会介绍如何使用Kafka保存纽约时报的文章，以及如何使用Kafka和SteamsAPI将发布的内容实时推送给各种应用。下面是总体的架构图，具体细节稍后详述。微信图片_20170927093957.jpg基于API解决方...(more)

赞同9

KSQL·2017-08-30

KSQL介绍：面向Apache Kafka的开源Streaming SQL引擎

smaylly · 兰州电信　擅长领域：分布式架构, 存储, 分布式系统

11 会员关注

我非常高兴地宣布KSQL，这是面向ApacheKafka的一种数据流SQL引擎。KSQL降低了数据流处理这个领域的准入门槛，为使用Kafka处理数据提供了一种简单的、完全交互的SQL界面。你不再需要用Java或Python之类的编程语言编写代码了！KSQL具有这些特点：开源（采用Apache2.0许可证）、分布式...(more)

赞同6

电信运营商大数据·2015-11-06

关于spark、storm、IBM Streams 三个目前对比，以及优势特点？

loveryue · IBM　擅长领域：服务器, 数据库, 大数据

705 会员关注

这三个产品应该分成两个部分来看。1.spark,： Spark从狭义上来看，就是一个分布式计算框架。广义上来说，spark代表了spark BDAS整个软件栈。Spark主要处理一些海量的已经保存的历史数据，通过并行计算，内存计算等技术，使得响应时间大大降低。2. storm和Streams都是处理流数据的，流...

赞同1

回答7

关注8

描述

实时数据流平台的支撑技术主要包含四个方面：实时数据采集（如Flume）,消息中间件（如Kafka）, 流计算框架（如Storm, Spark, Flink和Beam），以及数据实时存储（如列族存储的HBase）。

0 会员关注

1 会员贡献

20 关系主题

主题组织结构热门关系主题

关注 streams