先从单个容器的角度看日志的持久化存储:以Containerd容器运行时为例,容器日志会保存至/var/log/pods/$CONTAINER_NAME目录下,该目录默认保存在每个节点的本地盘上。但是本地存储有很多问题:日志量大会占用大量本地盘空间
Kafka对存储性能的敏感程度本质上取决于业务诉求,Operator只是Kafka容器化之后一种典型的部署方式。 Kafka作为高性能的消息队列,常用于实时或准实时的消息处理,建议配置高性能闪存存储。 Kafka存储过程中,每个 Topic被
扩容后的数据均衡涉及到分区在Broker之间的重新分配,会导致业务短暂的不可用。根据我们的实际测试,从3个POD扩容到6个POD的情况下做再均衡,业务不可用时间约为40s。实际部署过程中,这个时间与您扩容的节点数和均衡的工作
基于实际测试,在保证端到端100ms时延左右的情况下,OceanStor Dorado NAS可以提供高达数百MB/s的吞吐量,远超大部分集群的需求。 在大压力(如每秒百万个1K大小消息)压测的情况下,Broker的处理能力、网络等都可能成为性能瓶
容器化部署解决的一大问题就是便捷的扩容能力。只需要通过修改Kafka部署Yaml文件中的副本数就可以轻松的实现扩容,POD、PVC、PV等都会自动创建。
本次测试中没有实测使用对象存储的性能。原理上看,Kafka产生的以海量小IO小文件为主,且要求高速读写,从workload诉求出发,不太适合对象存储场景。
容器化部署解决的一大问题就是便捷的扩容能力。只需要通过修改Kafka部署Yaml文件中的副本数就可以轻松的实现部署和扩容。 针对计算或存储资源不充足的情况,可以通过评估每个POD需要的计算资源情况实现轻量化部署,例如
在硬件方面,企业级NAS存储和企业级SAN存储是同一套硬件架构,可以提供与FC SAN相同的硬件级可靠性;而HostPath是本地文件目录,其可靠性等同于服务器的可靠性。 在软件方面,NFS协议本身也持续在做可靠性增强;在对接MySQL、Ka
多租户分为K8S集群和存储层的多租户;下面主要谈一下存储的多租户。华为NAS存储支持多租户能力,不同租户之间数据面、网络面、管理面都是隔离的,可以根据需求对接不同的Kafka集群、Kafka集群和其他应用集群等,实现共享存储
应用的高可用分为本地高可用、同城高可用、异地高可用;对应到容器部署环境就是集群内高可用、同城跨集群高可用、异地高可用等方案。 本地高可用上,NAS的多读多写能力可以支撑POD在集群内的快速漂移,一分钟以内恢复业务
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30