Kafka+Operator存储持久化方案对存储性能敏感程度?

Kafka+Operator存储持久化方案对存储性能和io的需求是否要求非常敏感?存储上主要保留的是哪些部分的持久化数据?

参与14

3同行回答

罗文江罗文江  云计算架构师 , 某银行
是的,对存储性能和io的需求敏感。 存储上具体要持久化哪些数据,这和KAFKA的应用业务场景相关。譬如在用户数据采集和分发场景,是使用Kafka记录Web用户或者App用户的各种活动,如浏览网页、搜索、点击等活动数据,则这些数据都要持久化,且一般要持久到下游消费者全部处理完。...显示全部

是的,对存储性能和io的需求敏感。 存储上具体要持久化哪些数据,这和KAFKA的应用业务场景相关。譬如在用户数据采集和分发场景,是使用Kafka记录Web用户或者App用户的各种活动,如浏览网页、搜索、点击等活动数据,则这些数据都要持久化,且一般要持久到下游消费者全部处理完。

收起
银行 · 2023-05-10
浏览989
匿名用户匿名用户
1、该方案对于存储性能和io的需求确实非常敏感,甚至取决于实际消息的类型和大小,可能对带宽也非常敏感。2、理论上来说只要进入topic的业务数据都持久化了。具体的持久化时长可能需要根据业务需求、生产/消费速率、数据有效期、存储配额、消息的可靠性要求等多个维度综合考...显示全部

1、该方案对于存储性能和io的需求确实非常敏感,甚至取决于实际消息的类型和大小,可能对带宽也非常敏感。
2、理论上来说只要进入topic的业务数据都持久化了。具体的持久化时长可能需要根据业务需求、生产/消费速率、数据有效期、存储配额、消息的可靠性要求等多个维度综合考虑。

收起
银行 · 2023-05-12
浏览908

ChatGPT 回答

在银行行业中,Kafka+Operator存储持久化方案对存储性能和io的需求是非常敏感的。银行行业的业务量大、数据量大,对于数据的存储和处理要求高效、稳定、可靠。因此,Kafka+Operator存储持久化方案需要保证高性能、高可用性、高可靠性,以满足银行行业的业务需求。

在Kafka+Operator存储持久化方案中,主要保留的是Kafka的消息数据和元数据。消息数据是指银行业务中产生的各种交易数据、客户数据等,元数据是指Kafka中存储的关于消息数据的描述信息,如消息的主题、分区、偏移量等。这些数据对于银行行业的业务处理非常重要,需要进行持久化存储,以确保数据不会丢失或损坏。

同时,Kafka+Operator存储持久化方案还需要考虑数据的备份和恢复。在银行行业中,数据的备份和恢复非常重要,以确保数据的安全性和可靠性。因此,Kafka+Operator存储持久化方案需要支持数据的备份和恢复,以应对各种意外情况。

综上所述,Kafka+Operator存储持久化方案对存储性能和io的需求非常敏感,主要保留的是Kafka的消息数据和元数据,同时需要考虑数据的备份和恢复。

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-05-10
  • 关注会员:4 人
  • 问题浏览:1951
  • 最近回答:2023-05-15
  • X社区推广