数据的处理效率与硬件资源的合理利用？

1、大数据平台之所以基本都是部署在裸金属服务器上，最主要的原因是大数据平台通常都需要多台服务器共同完成一个计算任务。是一种将服务器能力叠加的技术。目前所有有效利用、调整资源的技术都是将服务器拆分的技术，这是设计理念上的根本差异。这也是为什么到现在为止大数据在容器化上始终踯躅不前的根本原因。但好在Kubernetes 技术其实是一种服务器拆分重组的概念，在重组这一部分能力上与大数据的需求仍然是一致的。因此大数据平台仍然有转向容器化的可能性。

2、在昨天分享的PPT中我介绍了一种趋势，就是将大数据平台的敏态与持久态拆分，Spark、Storm 等敏态技术，包括流式计算，数据的实时处理，实时分析，对新技术的耦合，比如大数据与AI/ML耦合等能力构建在敏态上层上。而持久态作为中层只负责宏观完整的数据大模型构架。衍生数据模型都存在于敏态层，而经过时间提炼的敏态层数据模型再通过整体DML执行框架沉淀到持久态层。最底层是传统存储持久化保障技术。这样有助于快速实现大数据平台面向敏态需求的能力，同时也能有效保护已有大数据资源的稳定和可执行度，提升整体支撑能力，提升整体资源利用率。

3、从目前全球技术趋势来看，也有一种猜测。大数据平台全面转向容器化的主流方案可能会在不久推出。这是因为随着Kubernetes Native Infrastructure （KNI）框架的整体成熟度不断提高。基于Ironic的裸金属调度整机容器有可能会成为大数据平台构建的基础框架。通过Stateful Set 接近整机容器的调度模式，调度裸金属的大数据节点部署。优势是，大数据节点更易于扩缩容，同时在计算资源闲余时间可以将计算资源调度用于其它计算目的。

4、对于监控来说，目前基于 Kuberenetes 的 Telemetry 技术正在成为热点，例如Redhat在新版本的OpenStack中就提供了基于 OpenShift 的全站 Telemetry 方案。可以支撑上万节点的统一监控。其中利用了Collectd+AMQ的采集技术，直接对接OpenShift上的监控体系。充分利用了OpenShift上预制整合的Prometheus+Grafana及其完整的的生态优势，快速建立高效率监控分析方案，并可以对此方案做自由扩展，实现快速插入定制化分析逻辑的目的。