大数据混部大数据容器化容器云大数据平台

金融行业如何选型大数据平台容器化技术路线落地大数据混部线上探讨

金融行业如何选型大数据平台容器化技术路线落地大数据混部线上探讨

活动简介

在当今信息时代,银行行业迎来了数据化转型的浪潮,随着容器技术的不断深入应用,大数据平台的容器化改造显得尤为重要。这种改造不仅利用了容器技术提升了系统的灵活性和可靠性,还可以提高运维效率和资源利用率,进一步推动了数字化业务的发展和创新。大数据平台容器化改造的重要性在于加快应用交付速度、提高基础架构利用率和资源灵活调配的能力,使银行业务能够更快、更灵活地应对市场变化和客户需求。随着大数据平台集群规模快速增长,很多银行开始探索借助云原生技术实现大数据混部(离线和在线业务混合部署),从而让计算资源更精细化地使用。

大数据平台容器化是落地大数据混部的前提。大数据平台容器化技术路线的选择涉及到不同系统的特点和需求,在降低运维成本、提高安全性和可扩展性方面有不同侧重点,当前有Hadoop Yarn on Kubernetes、多个大数据集群共享统一资源池、大数据集群完全容器化改造等等方式,根据调研,使用Yarn node manager运行在k8s集群上,通过Yarn进行调度的方式来达到预期目标的占比最多。而大数据平台容器化改造难点包括系统架构复杂、数据安全问题、存量系统迁移等挑战,需要综合考量和有效规划;同时对于此方面的建设,独立开发探索将会消耗大量人力物力。大数据平台容器化建设过程中的核心挑战包括:

1.  基于云原生实现大数据混部的主要应用场景有哪些?

2.  如何选型适合企业自身的大数据平台容器化技术路线?

3.  如何实现业务容器与大数据容器的混合调度部署?

4.  如何设计大数据混部的资源控制方案?

本期twt社区特邀银行的专家结合大家关注的问题进行线上交流分享!

互动嘉宾

社区ID:dean25  某股份制银行 容器云负责人

现就职于股份制银行信息科技部系统管理中心,容器云平台技术负责人,负责行内容器云平台建设以及应用容器化改造规范制定。

分享嘉宾

dean25
软件架构设计师民生银行
擅长领域: 云计算容器容器云
发布74
回答68

互动嘉宾

xuyy
数据架构师某银行
发布57
回答35
我不要昵称
系统工程师某财产保险
擅长领域: 信创信创云服务器
发布16
回答7
jillme
CIO某大型银行
发布392
回答204
jyx314
运维工程师光大兴陇信托有限责任公司
擅长领域: 云计算容器容器云
发布6
回答0
catalinaspring
副处长金融
发布32
回答15
wanggeng
系统运维工程师某银行
擅长领域: 服务器存储数据库
发布349
回答126
橘子皮
容器云运维工程师北京银行
擅长领域: 云计算容器大数据
发布10
回答0
Breeze
大数据工程师保险集团
擅长领域: 大数据容器云计算
发布105
回答80
jinhaibo
技术管理昆仑银行
发布65
回答21

活跃参与会员

  • mxin
  • wanggeng
  • qq409982078
  • dean25
  • jillme
  • sodas233
  • catalinaspring
  • wuufzh
  • 强哥之神
  • starsky
  • zhyu314
  • nkj2021
  • arzee86
  • zbjjyy
  • jinhaibo
  • 橘子皮
  • jyx314
  • 我不要昵称
  • xuyy
  • 一路走下去
  • heceke
  • 观测云
  • ks0000
  • binghun0518
  • shakyzhang
  • zwz99999
  • 苏十一
  • faye
  • aigoppb
  • twt运营
  • priest
  • david_ifu
  • 彬彬
  • zhpeng01
  • shomer23
  • purpose
  • suibian102
  • JAGXU
  • liangzb
  • Mr_yyy
  • renxiangwei
  • chinesezzqiang
  • Wangyc23
  • 落花有意流水
  • cnprinces
  • 蓝色勿忘我
  • 陈恒龙
  • liutengfei
  • 小白兔
  • olh
  • mengsheng
  • JasonTong
  • mini13
  • xr713
  • lianying
  • 璀璨星辰LH
  • SecOpsTalkLive
  • ggsvvss
  • yunche
  • 仙守
  • kilig
  • 罗根
  • X社区推广