kafka容器化后存储选型?

分布式存储、NAS存储、本地盘等,kafka容器化后如何进行存储选型保证其性能,扩容,数据安全以及容量管理?

参与11

3同行回答

北京不眠夜@博云北京不眠夜@博云产品经理公司
看需求。 应用对kafka使用量不大,没有太高的性能要求(IO、延时),一般用分布式存储即可。或者,使用旧有NAS存储也可以。 如果应用使用kafka很重,对IO、延时都有较高的要求,一般使用本地存储。原生的本地存储方案功能比较简单,可以看看carina。...显示全部

看需求。
应用对kafka使用量不大,没有太高的性能要求(IO、延时),一般用分布式存储即可。或者,使用旧有NAS存储也可以。
如果应用使用kafka很重,对IO、延时都有较高的要求,一般使用本地存储。原生的本地存储方案功能比较简单,可以看看carina。

收起
软件开发 · 2023-05-09
浏览770
zftangzftang其它小白一枚
kafka容器化以后性能和虚拟化之间没有任何变化,因为容器化技术本身是个进程级别的隔离技术,机器还是那个机器,网络还是那个网络,运行的程序,容器也只是个进程。显示全部

kafka容器化以后性能和虚拟化之间没有任何变化,因为容器化技术本身是个进程级别的隔离技术,机器还是那个机器,网络还是那个网络,运行的程序,容器也只是个进程。

收起
互联网服务 · 2023-05-09
浏览768
首先,K8S对存储做了抽象,不关心集中式还是分布式,主要还是看性能、可靠性、扩展能力、功能等能否匹配业务要求。在这个前提下,本地盘虽然性能较好,但可靠性、扩展能力、跨节点共享能力等都问题突出,存算分离是更好的选择。扩容方面,无论是分布式存储、NAS存储(本文主要是指企业级...显示全部

首先,K8S对存储做了抽象,不关心集中式还是分布式,主要还是看性能、可靠性、扩展能力、功能等能否匹配业务要求。
在这个前提下,本地盘虽然性能较好,但可靠性、扩展能力、跨节点共享能力等都问题突出,存算分离是更好的选择。
扩容方面,无论是分布式存储、NAS存储(本文主要是指企业级NAS存储)都具备PB级以上的扩容能力,单卷也支持弹性扩容,都可以满足要求。
从时延角度,由于分布式存储涉及到跨节点副本转发,时延比企业级NAS高,需要看是否满足业务需求。
在安全方面,NAS存储相对块存储更优,可以支持租户隔离、多种鉴权模式、防病毒、防勒索检测等功能。
在容量管理上,我们推荐使用租户级配额来实现一个Kafka集群的容量管理,这样存储管理员只需要管理整个集群可用的存储容量,而不需要限制每个PV的大小,管理更简单。

收起
硬件生产 · 2023-05-12
浏览767

ChatGPT 回答

针对证券行业的存储需求,可以考虑以下方案:

  1. 分布式存储方案:分布式存储方案可以提供高可用性、可扩展性和容错性。可以采用分布式文件系统(如HDFS)或对象存储(如S3)等方案。这种方案可以通过多个节点来存储数据,保证数据的可靠性和高可用性。
  2. NAS存储方案:NAS存储方案可以提供高性能和易于管理的优势。可以将数据存储在专门的NAS设备上,通过网络共享给多个应用程序使用。这种方案可以提供高性能的数据访问,并且易于管理和维护。
  3. 本地盘存储方案:本地盘存储方案可以提供高性能和低延迟的优势。可以将数据存储在本地硬盘上,通过本地文件系统进行管理。这种方案可以提供最高的性能和最低的延迟,但是数据可靠性和可用性可能会受到影响。

对于kafka容器化后的存储选型,可以考虑以下几个方面:

  1. 性能:选择高性能的存储方案,可以保证kafka的高吞吐量和低延迟。
  2. 扩容:选择可扩展的存储方案,可以保证kafka的可扩展性和容量管理。
  3. 数据安全:选择安全可靠的存储方案,可以保证kafka的数据安全和可靠性。
  4. 容量管理:选择易于管理的存储方案,可以方便地进行容量管理和维护。

综合考虑以上因素,可以选择分布式存储方案或者NAS存储方案作为kafka容器化后的存储选型。同时,可以考虑使用云存储服务,如阿里云OSS或腾讯云COS等,来提供高可用性、可扩展性和容错性。同时,可以通过使用存储网关或者对象存储网关等技术,将云存储服务与kafka容器化后的应用程序进行集成,从而实现高性能、高可用性和数据安全的存储方案。

提问者

whitewindmind
系统工程师浙商证券
擅长领域: 存储灾备云计算

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-05-08
  • 关注会员:4 人
  • 问题浏览:1863
  • 最近回答:2023-05-12
  • X社区推广