Kafka+Operator存储持久化方案对存储性能敏感程度?

Kafka+Operator存储持久化方案对存储性能和io的需求是否要求非常敏感?存储上主要保留的是哪些部分的持久化数据?

参与14

3 同行回答

罗文江 罗文江 课题专家组 云计算架构师 某银行
是的,对存储性能和io的需求敏感。 存储上具体要持久化哪些数据,这和KAFKA的应用业务场景相关。譬如在用户数据采集和分发场景,是使用Kafka记录Web用户或者App用户的各种活动,如浏览网页、搜索、点击等活动数据,则这些数据都要持久化,且一般要持久到下游消费者全部处理完。...显示全部

是的,对存储性能和io的需求敏感。 存储上具体要持久化哪些数据,这和KAFKA的应用业务场景相关。譬如在用户数据采集和分发场景,是使用Kafka记录Web用户或者App用户的各种活动,如浏览网页、搜索、点击等活动数据,则这些数据都要持久化,且一般要持久到下游消费者全部处理完。

收起
银行 · 2023-05-10
浏览1165
洪月 洪月 企业存储产品规划 华为数据存储解决方案中心
Kafka对存储性能的敏感程度本质上取决于业务诉求,Operator只是Kafka容器化之后一种典型的部署方式。Kafka作为高性能的消息队列,常用于实时或准实时的消息处理,建议配置高性能闪存存储。Kafka存储过程中,每个 Topic被分成多个 Partition,Partition 从物理上可以理解成一个文件...显示全部

Kafka对存储性能的敏感程度本质上取决于业务诉求,Operator只是Kafka容器化之后一种典型的部署方式。

Kafka作为高性能的消息队列,常用于实时或准实时的消息处理,建议配置高性能闪存存储。

Kafka存储过程中,每个 Topic被分成多个 Partition,Partition 从物理上可以理解成一个文件夹。每个 Partition 又被分成了多个 Segment,Segment 从物理上可以理解成一个「数据文件 + 索引文件」,这就是Kafka持久化的数据内容。

收起
硬件生产 · 2023-05-15
浏览1078
匿名用户匿名用户
1、该方案对于存储性能和io的需求确实非常敏感,甚至取决于实际消息的类型和大小,可能对带宽也非常敏感。2、理论上来说只要进入topic的业务数据都持久化了。具体的持久化时长可能需要根据业务需求、生产/消费速率、数据有效期、存储配额、消息的可靠性要求等多个维度综合考...显示全部

1、该方案对于存储性能和io的需求确实非常敏感,甚至取决于实际消息的类型和大小,可能对带宽也非常敏感。
2、理论上来说只要进入topic的业务数据都持久化了。具体的持久化时长可能需要根据业务需求、生产/消费速率、数据有效期、存储配额、消息的可靠性要求等多个维度综合考虑。

收起
银行 · 2023-05-12
浏览1056

ChatGPT 回答

在银行行业中,Kafka+Operator存储持久化方案对存储性能和io的需求是非常敏感的。银行行业的业务量大、数据量大,对于数据的存储和处理要求高效、稳定、可靠。因此,Kafka+Operator存储持久化方案需要保证高性能、高可用性、高可靠性,以满足银行行业的业务需求。

在Kafka+Operator存储持久化方案中,主要保留的是Kafka的消息数据和元数据。消息数据是指银行业务中产生的各种交易数据、客户数据等,元数据是指Kafka中存储的关于消息数据的描述信息,如消息的主题、分区、偏移量等。这些数据对于银行行业的业务处理非常重要,需要进行持久化存储,以确保数据不会丢失或损坏。

同时,Kafka+Operator存储持久化方案还需要考虑数据的备份和恢复。在银行行业中,数据的备份和恢复非常重要,以确保数据的安全性和可靠性。因此,Kafka+Operator存储持久化方案需要支持数据的备份和恢复,以应对各种意外情况。

综上所述,Kafka+Operator存储持久化方案对存储性能和io的需求非常敏感,主要保留的是Kafka的消息数据和元数据,同时需要考虑数据的备份和恢复。

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-05-10
  • 关注会员:4 人
  • 问题浏览:2201
  • 最近回答:2023-05-15
  • X社区推广