容器化技术路线落地大数据混部技术选型应该时完全容器化还是部分容器化？比如选择Spark on K8s 还是 Hadoop yarn on K8s。

首先，要统一一下调度面，我们就是采用K8S来统一混合调度的。为了保证安全，需要在namespace层面做一些资源配额限制，还需要在集群层面打些标签，预留专用节点，在节点上设置污点和在Pod上配置容忍，实现更细粒度的调度控制。 结合监控，实现资源的自动弹性，充分利用集群资源，降本增效。...(more)

加强容器镜像安全（比如：确保使用来自信任来源的基础容器镜像，审查基础镜像的内容和配置，避免使用未经验证或存在安全漏洞的镜像。 ）、容器运行时安全（比如：使用容器运行时的安全特性 cgroup，及最小化容器权限）、网络安全（networkpolicy，结合容器网络实现网络隔离）、资源访问控制（rbac，n...(more)

大数据平台进行容器化的主要驱动力是提高资源的弹性和利用率，简化运维流程，以及增强平台的可移植性和标准化。为了评估是否有必要做容器化，企业应该从以下几个角度进行考量：成本效益分析：计算容器化转型的直接和间接成本（包括技术培训、设备投资、软件许可等），与其带来的效益（如提...(more)

金融行业一般技术会选择比较稳定、成熟的，所以虚拟化、超融合这种应该会有广泛使用。如果没有很强烈的愿望，比如降本增效、方便运维与资源管理等、其实不建议改造，虽然容器云是一个趋势。目前，金融监管机构应该不会有对容器云有强制要求，对数据安全和隐私保护方面倒是有的。...(more)

加强容器镜像安全（比如：确保使用来自信任来源的基础容器镜像，审查基础镜像的内容和配置，避免使用未经验证或存在安全漏洞的镜像。 ）、容器运行时安全（比如：使用容器运行时的安全特性 cgroup，及最小化容器权限）、网络安全（networkpolicy，结合容器网络实现网络隔离）、资源访问控制（rbac，n...(more)

容器本质是线程，比虚机少了一层虚拟化开销，不需要虚机层的内核上下文切换，所以从性能上来说，容器是要优于虚机的。只是我们在涉及到有状态应用场景时，由于为了很好的保证高可用性，一般采用分布式存储，并实现多副本数据同步，其瓶颈在于网络存储的网络延时和带宽。如果不能很好的解...(more)

大数据采用容器化部署，对于namenode,resoucemanger等管理节点如何动态扩缩容？目前多的都是针对datanode或者是nodemanger的扩缩容。

通过资源隔离（比如采用K8S不同的namespace并分配不同的租户quota)、优先级和抢占（采用不同的PriorityClass ）、资源限制（不同的limit、request，quota等）、监控和自动化调整（如 Prometheus 和 Grafana ，结合HPA/VPA等）、队列和调度策略以及独立的存储和网络配置等手段，可以有效保障...(more)