hadoop哪些组件可实现准实时数据处理,目前主流使用的是哪些?

hadoop哪些组件可实现准实时数据处理,目前主流使用的是哪些,具体如何实现

3回答

gengyanggengyang  数据仓库工程师 , 民生银行
长诗佐酒赞同了此回答
storm sparksteaming flink 目前用的比较多的应该是sparkstreaming,但flink有后来者居上的形式。显示全部

storm sparksteaming flink 目前用的比较多的应该是sparkstreaming,但flink有后来者居上的形式。

收起
 2019-09-04
浏览232
shaofengshishaofengshi  系统架构师 , 上海跬智
chailei_8306赞同了此回答
通常实时数据处理采用像 storm、flink、spark streaming 这些方式进行处理,然后存储到 hbase、hdfs 等地方。使用这些技术的特点是需要针对自己的情况开发程序,然后部署、调试、监控,非常复杂,也是一般企业比较难掌握的。 Apache Kylin 是一个流行的大数据在线分析(OL...显示全部

通常实时数据处理采用像 storm、flink、spark streaming 这些方式进行处理,然后存储到 hbase、hdfs 等地方。使用这些技术的特点是需要针对自己的情况开发程序,然后部署、调试、监控,非常复杂,也是一般企业比较难掌握的。

Apache Kylin 是一个流行的大数据在线分析(OLAP)引擎,是第一个由国人开发并贡献到 Apache 基金会的开源项目,在国内有众多用户。Kylin 的特点是,无需编程,用户通过图形化界面进行建模,然后 Kylin 自动生成 Hadoop/spark 任务,对数据进行聚合、编码、索引,最后存储到 HBase 中;查询的时候使用 SQL 就可以了,支持很多 SQL 分析工具如 Tableau 等等。Kylin 已经在美团、滴滴、ebay 等大企业得到大规模使用,足见其吸引力。

在过去的几年里,Kylin 从批处理逐渐向实时处理进化,3年前就发布了分钟级延迟的准实时方案,在携程等大规模使用;而且现在还在开发秒级延迟的完全实时方案,不久就会正式对外发布。企业可以使用 Apache Kylin 构建自己的大型数据仓库,同时支持历史和实时数据。

收起
 2019-09-03
浏览251
王奇王奇  项目经理 , 阜新银行
长诗佐酒赞同了此回答
OGG数据抽取和解析,KAFKA数据的传输,HBASE数据存储。这是最简单的如果需要计算一些指标,可以用SPARK-STREAMING.  特别提醒:大数据的每个组件应用的场景不一样,使用时一定要注意自己的应用场景...显示全部

OGG数据抽取和解析,KAFKA数据的传输,HBASE数据存储。这是最简单的如果需要计算一些指标,可以用SPARK-STREAMING.  特别提醒:大数据的每个组件应用的场景不一样,使用时一定要注意自己的应用场景

收起
 2019-08-29
浏览371

提问者

gw880626商业智能工程师, 中国太平洋保险

问题状态

  • 发布时间:2019-08-27
  • 关注会员:4 人
  • 问题浏览:1268
  • 最近回答:2019-09-04
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30