实时数据流平台
实时数据流平台
实时数据流平台的支撑技术主要包含四个方面:实时数据采集(如Flume),消息中间件(如Kafka), 流计算框架(如Storm, Spark, Flink和Beam),以及数据实时存储(如列族存储的HBase)。
实时数据流平台的支撑技术主要包含四个方面:实时数据采集(如Flume),消息中间件(如Kafka), 流计算框架(如Storm, Spark, Flink和Beam),以及数据实时存储(如列族存储的HBase)。

动态

软件开发kafka· 2023-05-15
多租户分为K8S集群和存储层的多租户;下面主要谈一下存储的多租户。华为NAS存储支持多租户能力,不同租户之间数据面、网络面、管理面都是隔离的,可以根据需求对接不同的Kafka集群、Kafka集群和其他应用集群等,实现共享存储底座后的隔离能力,防止业务互相影响;不同租户还可以设置...(more)
银行容器云· 2023-05-15
应用的高可用分为本地高可用、同城高可用、异地高可用;对应到容器部署环境就是集群内高可用、同城跨集群高可用、异地高可用等方案。本地高可用上,NAS的多读多写能力可以支撑POD在集群内的快速漂移,一分钟以内恢复业务;华为企业级NAS存储支持集群内双活,即一个Kafka的Broker P...(more)
银行容器· 2023-05-15
应用的高可用分为本地高可用、同城高可用、异地高可用;对应到容器部署环境就是集群内高可用、同城跨集群高可用、异地高可用等方案。本地高可用上,NAS的多读多写能力可以支撑POD在集群内的快速漂移,一分钟以内恢复业务;华为企业级NAS存储还支持集群内双活,即一个Kafka的Broker...(more)
银行kafka· 2023-05-15
在弹性扩缩容问题上,K8S支持通过修改Broker配置Yaml文件中的Broker数量就可以实现扩缩。扩容时POD、PVC和PV都会根据Yaml文件的配置自动创建,无需人工干预。缩容时由于涉及到持久化数据,需要考虑数据留存问题;如果数据需要继续保留,需要对相关分区进行迁移。...(more)

描述

实时数据流平台的支撑技术主要包含四个方面:实时数据采集(如Flume),消息中间件(如Kafka), 流计算框架(如Storm, Spark, Flink和Beam),以及数据实时存储(如列族存储的HBase)。
实时数据流平台的支撑技术主要包含四个方面:实时数据采集(如Flume),消息中间件(如Kafka), 流计算框架(如Storm, Spark, Flink和Beam),以及数据实时存储(如列族存储的HBase)。
X社区推广
  • 提问题