数据中台发展至今,大体经历了4个重要阶段:数据库——数据仓库——大数据平台——数据中台。每次新的变革,都是为了解决上一阶段存在的问题,当前确实出现了云原生数据中台的概念,狭义来说,也可以当做大数据平台容器化。从大数据平台整体来看,部分组件容器化其实跟正常微服务容器化相似,容器化方案实现起来相对较简单一点。最困难的还属核心两层:计算层和数据存储。消息中间件Kafka、关系数据库Mysql等大部分都是有状态数据,数据实时性和可用性要求高,容器化改造实现难度大,但是可行,而hive flink impala DataX等 其实容器化意义不大。大数据与容器编排技术,一个是在数据处理领域历史相对比较长久的互联网的基石技术,一个是在业务编排领域近年来才兴起的新兴技术。两者本来都在各自的生态中处于不断发展壮大的阶段,相互直接融合比较少。但近年来随着Kubernete技术的成熟,使大数据容器化从设想变成了可能。
收起