(1)、 combiner 有时一个 map 可能会产生大量的输出， combiner 的作用是在 map 端对输出先做一次合并，以减少网络传输到 reducer 的数量。 注意： mapper 的输出为 combiner 的输入， reducer 的输入为 combiner 的输出。(2)、 partition 把 map 任务输出的中间结果按...
一个节点上运行的任务数目主要由两个因素决定，一个是 NodeManager 可使用的资源总量，一个是单个任务的资源需求量，比如一个 NodeManager 上可用资源为 8 GB 内存， 8 cpu ，单个任务资源需求量为 1 GB 内存， 1cpu ，则该节点最多运行 8 个任务。NodeManager 上可用资源是由管理员在...
（1）人的生命是有限的，技术是无限的，所以，不能什么都学，这一点是最主要的。（2）学习主流的技术，忽略杂牌的，如何区别呢， 看github的star和commit（3）如果是架构，先学数据库，再学大数据。数据库比较基础，有点概念和大数据向通。（4）如果是分析，先学传统的分析软件（saas、spss，obiee），再学大数据分析（h...
关键点还在于“NameNode”。 目录/文件和Block均会占用NameNode内存空间，大量小文件会降低内存使用效率，除此，小文件的读写性能远远低于大文件的读写，主要原因对小文件读写需要在多个数据源切换，严重影响性能。...
你这里描述的使用场景是k8s？还是Openstack或其他平台？
Spark 文件 切分 规则同时 spark 也要判断 数据 大小是否大于切片大小的11倍如果大于才按切片大小进行切分
简单理解dataNode就是存储数据的服务。对应的NameNode是管理数据的服务（记录数据在哪个分片，当前副本情况），以及NodeManager是管理当前节点的服务
