容器化技术路线落地大数据混部后稳定性如何保障?部分服务要求有状态。?

参与9

2 同行回答

强哥之神 强哥之神 架构师&技术经理 上汽集团云计算中心
1、对于部分要求有状态,那么确保有状态服务的数据可靠性和可扩展性,可以使用分布式存储系统 。(比如ceph,hdfs,glusterfs等)2、设计和部署要实现高可用架构,避免单点故障影响系统稳定性。 (比如:多副本部署、负载均衡等)3、要使用自动化工具和监控系统,确保及时发现和解决问题,保...显示全部

1、对于部分要求有状态,那么确保有状态服务的数据可靠性和可扩展性,可以使用分布式存储系统 。(比如ceph,hdfs,glusterfs等)
2、设计和部署要实现高可用架构,避免单点故障影响系统稳定性。 (比如:多副本部署、负载均衡等)
3、要使用自动化工具和监控系统,确保及时发现和解决问题,保障系统稳定运行。

收起
互联网服务 · 2024-05-16
浏览121
dean25 dean25 课题专家组 软件架构设计师 民生银行
企业要通过容器技术落地大数据混部,要保证稳定性这块,首先需要确保基础调度组件,如RM,NM的稳定性,同时具备高可用能力和异常情况下快速重启恢复能力。作业提交建议有2此重试机制,如果因为RM/NM偶发异常导致作业失败,可以通过重试恢复。这里说的离线大数据作业都是批量式的,flink...显示全部

企业要通过容器技术落地大数据混部,要保证稳定性这块,首先需要确保基础调度组件,如RM,NM的稳定性,同时具备高可用能力和异常情况下快速重启恢复能力。作业提交建议有2此重试机制,如果因为RM/NM偶发异常导致作业失败,可以通过重试恢复。这里说的离线大数据作业都是批量式的,flink这种长期运行的一般放在在线应用范围。

收起
银行 · 2024-05-08
浏览215

ChatGPT 回答

在银行行业中,大数据混部后的容器化技术路线落地,需要考虑如何保障稳定性,特别是对于一些有状态的服务。以下是一些建议:

  1. 使用容器编排工具,如Kubernetes,来管理容器化的大数据应用程序。Kubernetes可以自动监控和管理容器的状态,并在需要时进行自动扩展或缩小容器数量,以保证应用程序的高可用性和稳定性。
  2. 对于有状态的服务,可以使用StatefulSet来管理。StatefulSet可以为每个容器分配唯一的标识符,以确保数据的持久性和一致性。同时,StatefulSet还可以自动进行容器的故障转移和恢复,以保证服务的可用性。
  3. 使用容器存储技术,如Persistent Volume,来存储有状态的数据。Persistent Volume可以将数据存储在独立于容器的存储卷中,以确保数据的持久性和可靠性。
  4. 对于大数据混部后的容器化技术路线落地,需要进行充分的测试和验证。可以使用自动化测试工具来模拟各种场景,以确保应用程序在各种情况下都能够正常运行。
  5. 在容器化的大数据应用程序中,需要进行充分的监控和日志记录。可以使用监控工具和日志分析工具来实时监控应用程序的状态,并及时发现和解决问题。

总之,对于银行行业中的大数据混部后的容器化技术路线落地,需要综合考虑各种因素,包括容器编排工具、有状态服务管理、容器存储技术、测试和验证、监控和日志记录等,以确保应用程序的高可用性和稳定性。

提问者

wanggeng
系统运维工程师 某银行
擅长领域: 服务器存储数据库
评论354

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2024-05-06
  • 关注会员:3 人
  • 问题浏览:839
  • 最近回答:2024-05-16
  • X社区推广