大数据和生产业务混合部署,有哪些手段方法来保证生产业务不受大数据业务的干扰?

大数据和生产业务混合部署,有哪些手段方法来保证生产业务不受大数据业务的干扰?

参与7

2 同行回答

强哥之神 强哥之神 架构师&技术经理 上汽集团云计算中心
通过资源隔离(比如采用K8S不同的namespace并分配不同的租户quota)、优先级和抢占(采用不同的PriorityClass )、资源限制(不同的limit、request,quota等)、监控和自动化调整(如 Prometheus 和 Grafana ,结合HPA/VPA等)、队列和调度策略以及独立的存储和网络配置等手段,可以有效保障...显示全部

通过资源隔离(比如采用K8S不同的namespace并分配不同的租户quota)、优先级和抢占(采用不同的PriorityClass )、资源限制(不同的limit、request,quota等)、监控和自动化调整(如 Prometheus 和 Grafana ,结合HPA/VPA等)、队列和调度策略以及独立的存储和网络配置等手段,可以有效保障生产业务在大数据和生产业务混合部署环境中的稳定运行。合理配置和管理这些策略,能够确保生产业务不受大数据业务的干扰,实现资源的高效利用和系统的稳定性。

收起
互联网服务 · 2024-05-15
浏览219
dean25 dean25 课题专家组 软件架构设计师 民生银行
根据我们的实践,可以在宿主机的Linux kernel层面对低优的大数据作业资源使用进行压制,包括:CPU抢占:当在线负载较低时,离线任务可以占用空闲的 CPU 资源,当在线负载高时,在线能快速抢占离线的CPU资源。SMT抗干扰:当在线任务调度到某个逻辑CPU时,其对应的SMT上的离线任务会被立即...显示全部

根据我们的实践,可以在宿主机的Linux kernel层面对低优的大数据作业资源使用进行压制,包括:
CPU抢占:当在线负载较低时,离线任务可以占用空闲的 CPU 资源,当在线负载高时,在线能快速抢占离线的CPU资源。
SMT抗干扰:当在线任务调度到某个逻辑CPU时,其对应的SMT上的离线任务会被立即驱逐,避免共享同一个物理CPU带来的干扰
内存QoS:当整机内存使用紧张的时候,优先回收离线任务使用的内存,而当回收后内存资源还不够的情况下,离线的任务会被优先驱逐
带宽分级:可以限制离线任务的网络带宽使用上限
Cache QoS:限制离线任务对L3 Cache和MBA的使用量

此外,还可以为节点上的低优作业资源使用总量进行限制,比如节点上所有低优作业使用的CPU不能超过节点CPU配置的40%。这方面需要对k8s的cgroup放置机制做改造,为低优作业创建单独的cgroup

收起
银行 · 2024-05-13
浏览246

ChatGPT 回答

在大数据和生产业务混合部署的情况下,为了保证生产业务不受大数据业务的干扰,可以采取以下手段和方法:

  1. 资源隔离:使用容器化技术,将大数据和生产业务分别部署在不同的容器中,通过资源隔离来避免彼此之间的干扰。可以使用容器编排工具如Kubernetes来管理和调度容器。
  2. 资源调整:根据大数据和生产业务的资源需求,合理分配和调整资源。可以通过监控和性能调优工具来实时监测和调整资源使用情况,确保两者之间的资源分配合理,避免争抢资源导致的干扰。
  3. 网络隔离:在网络层面进行隔离,通过虚拟局域网(VLAN)或软件定义网络(SDN)等技术,将大数据和生产业务划分到不同的网络区域,避免网络拥堵和冲突。
  4. 优先级调整:通过设置任务优先级,将生产业务的优先级调整为高于大数据业务,确保生产业务的正常运行。可以使用调度器或任务管理器来管理任务的优先级。
  5. 监控和故障处理:建立完善的监控系统,实时监测大数据和生产业务的运行状态,及时发现和处理潜在的问题和故障。可以使用日志分析工具、异常检测工具等来辅助监控和故障处理。
  6. 容灾备份:为生产业务和大数据业务分别建立容灾备份机制,确保在发生故障或意外情况时能够快速恢复和切换,减少对生产业务的影响。

需要根据具体的场景和需求来选择和实施上述方法,综合考虑资源、性能、安全等因素,以达到保证生产业务不受大数据业务干扰的目的。

提问者

我不要昵称
系统工程师 某财产保险
擅长领域: 信创信创云服务器
评论17

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2024-05-07
  • 关注会员:3 人
  • 问题浏览:744
  • 最近回答:2024-05-15
  • X社区推广