实时数据流平台
实时数据流平台
实时数据流平台的支撑技术主要包含四个方面:实时数据采集(如Flume),消息中间件(如Kafka), 流计算框架(如Storm, Spark, Flink和Beam),以及数据实时存储(如列族存储的HBase)。
实时数据流平台的支撑技术主要包含四个方面:实时数据采集(如Flume),消息中间件(如Kafka), 流计算框架(如Storm, Spark, Flink和Beam),以及数据实时存储(如列族存储的HBase)。

热点

互联网服务kafka·2023-06-01
匿名用户
Kafka 是一个高性能的分布式流处理平台,用于处理和传输大规模的实时数据流。在 Centos 7 和 Ubuntu 上部署 Kafka,在数据量上升后可能会有一些差异,这些差异可能涉及以下几个方面:性能:Centos 7 和 Ubuntu 在性能方面可能会有差异。性能取决于操作系统的内核和配置,以及硬件资...
银行对象存储·2023-05-10
本次测试中没有实测使用对象存储的性能。原理上看,Kafka产生的以海量小IO小文件为主,且要求高速读写,从workload诉求出发,不太适合对象存储场景。
银行存储持久化·2023-05-10
罗文江某银行 擅长领域:云计算, 容器, 容器云
34 会员关注
是的,对存储性能和io的需求敏感。 存储上具体要持久化哪些数据,这和KAFKA的应用业务场景相关。譬如在用户数据采集和分发场景,是使用Kafka记录Web用户或者App用户的各种活动,如浏览网页、搜索、点击等活动数据,则这些数据都要持久化,且一般要持久到下游消费者全部处理完。...
银行容器·2023-05-11
顾黄亮畅销书作者 擅长领域:云计算, 数据库, 系统运维
103 会员关注
实测过,kafka在容器云和虚拟机中部署,性能是一样的,基本上没有任何变化。 容器化技术本身是个进程级别的隔离技术,机器还是那个机器,网络还是那个网络,运行的程序也一样。
华为nas存储·2023-05-04
rechen2020某大型银行 擅长领域:云计算, 容器云, 容器
28 会员关注
收藏2
评价1
金币1
kafka·2023-04-27
rechen2020某大型银行 擅长领域:云计算, 容器云, 容器
28 会员关注
1背景和需求银行业务应用系统每天有大量的交易发生,这些交易很多需要进行实时的业务核查与处理,譬如一笔交易发生,这笔交易是否是欺诈交易,这笔交易是否已经达到限额了,相关用户是否在黑名单中,交易结果联动短信、Email渠道通知用户等等,典型的一笔简单的资金转账交易,就要与反欺...(more)
专栏: 最佳实践
浏览6087
评论2
kafka·2023-03-10
Luga LeeNone 擅长领域:云计算, 容器, 容器云
40 会员关注
众所周知,ApacheKafka是一个分布式开源流和事件处理平台,广泛应用于各大互联网公司以及基于不同体系的软件架构的业务场景中。其实,基于早期的设计理念而言,Kafka最初被设想为消息队列,并基于分布式提交日志的抽象。然而,自2011年由LinkedIn创建并开源以来,Kafka已迅速从消息队...(more)
浏览1195
集群·2022-05-20
qhdx07as 擅长领域:服务器, Linux, 系统运维
19 会员关注
1.整体架构图:2.实验环境准备:各组件简单介绍:Elasticsearch:是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前...(more)
浏览1350
评论1
软件开发消息队列·2022-03-05
FlyingFly外资银行 擅长领域:一体化运维, 中间件, 自动化运维
Kafka、ActiveMQ、RabbitMQ 和 RocketMQ 都是比较主流的消息队列中间件,它们各自有不同的特点和应用场景。Kafka:Kafka 是一个分布式的流处理平台,最初被开发用于处理日志数据。它可以水平扩展,支持高吞吐量的数据传输,并且具有持久化存储和数据复制的功能。Kafka 通常用于实...
互联网服务Redis·2021-10-14
xylonxiang湖南高阳通联 擅长领域:云计算, 容器, 系统运维
4 会员关注
你的思路和方案没问题,主流的日志中心就是这么建设的。我们日志中心主要做了如下能力:1、出具业务报表,引入了spark实时分析日志;2、基于elastalert实现的业务监控;3、基于es日志的交易调用链;...

描述

实时数据流平台的支撑技术主要包含四个方面:实时数据采集(如Flume),消息中间件(如Kafka), 流计算框架(如Storm, Spark, Flink和Beam),以及数据实时存储(如列族存储的HBase)。
实时数据流平台的支撑技术主要包含四个方面:实时数据采集(如Flume),消息中间件(如Kafka), 流计算框架(如Storm, Spark, Flink和Beam),以及数据实时存储(如列族存储的HBase)。
X社区推广
  • 提问题