Kafka+Operator存储持久化方案对存储性能敏感程度?

Kafka+Operator存储持久化方案对存储性能和io的需求是否要求非常敏感?存储上主要保留的是哪些部分的持久化数据?

参与14

3回答

rechenrechen  云计算架构师 , 招商银行
是的,对存储性能和io的需求敏感。 存储上具体要持久化哪些数据,这和KAFKA的应用业务场景相关。譬如在用户数据采集和分发场景,是使用Kafka记录Web用户或者App用户的各种活动,如浏览网页、搜索、点击等活动数据,则这些数据都要持久化,且一般要持久到下游消费者全部处理完。...显示全部

是的,对存储性能和io的需求敏感。 存储上具体要持久化哪些数据,这和KAFKA的应用业务场景相关。譬如在用户数据采集和分发场景,是使用Kafka记录Web用户或者App用户的各种活动,如浏览网页、搜索、点击等活动数据,则这些数据都要持久化,且一般要持久到下游消费者全部处理完。

收起
银行 · 2023-05-10
浏览483
洪月洪月  企业存储产品规划 , 华为数据存储解决方案中心
Kafka对存储性能的敏感程度本质上取决于业务诉求,Operator只是Kafka容器化之后一种典型的部署方式。Kafka作为高性能的消息队列,常用于实时或准实时的消息处理,建议配置高性能闪存存储。Kafka存储过程中,每个 Topic被分成多个 Partition,Partition 从物理上可以理解成一个文件...显示全部

Kafka对存储性能的敏感程度本质上取决于业务诉求,Operator只是Kafka容器化之后一种典型的部署方式。

Kafka作为高性能的消息队列,常用于实时或准实时的消息处理,建议配置高性能闪存存储。

Kafka存储过程中,每个 Topic被分成多个 Partition,Partition 从物理上可以理解成一个文件夹。每个 Partition 又被分成了多个 Segment,Segment 从物理上可以理解成一个「数据文件 + 索引文件」,这就是Kafka持久化的数据内容。

收起
硬件生产 · 2023-05-15
浏览426
匿名用户匿名用户
1、该方案对于存储性能和io的需求确实非常敏感,甚至取决于实际消息的类型和大小,可能对带宽也非常敏感。2、理论上来说只要进入topic的业务数据都持久化了。具体的持久化时长可能需要根据业务需求、生产/消费速率、数据有效期、存储配额、消息的可靠性要求等多个维度综合考...显示全部

1、该方案对于存储性能和io的需求确实非常敏感,甚至取决于实际消息的类型和大小,可能对带宽也非常敏感。
2、理论上来说只要进入topic的业务数据都持久化了。具体的持久化时长可能需要根据业务需求、生产/消费速率、数据有效期、存储配额、消息的可靠性要求等多个维度综合考虑。

收起
银行 · 2023-05-12
浏览451

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-05-10
  • 关注会员:4 人
  • 问题浏览:1237
  • 最近回答:2023-05-15
  • X社区推广