(1)、 combiner 有时一个 map 可能会产生大量的输出， combiner 的作用是在 map 端对输出先做一次合并，以减少网络传输到 reducer 的数量。 注意： mapper 的输出为 combiner 的输入， reducer 的输入为 combiner 的输出。(2)、 partition 把 map 任务输出的中间结果按...
这个和业务形态有关的， 不同商品的消费频次不同的，就像 超市/便利店和买衣服的频次就完全不一样。具体还是根据业务要求来确定。
BI系统主要用来将医院中现有的数据进行分析，快速准确的提供报表并提出决策依据，帮助医院做出明智的业务经营决策。集成平台主要台是通过信息交换和集成等多种技术，把分散的、异构的各个子系统的信息集成在一个信息共享的平台上，解决信息共享和交流问题，实现医院信息系统一体化...
Spark 文件 切分 规则同时 spark 也要判断 数据 大小是否大于切片大小的11倍如果大于才按切片大小进行切分
一线业务人员没有专业的数理统计背景，不会涉及模型的训练及调优等操作，但是可以将数据挖掘的结果通过部署的方式提供给他们。比如用户评分，可以采用离线批量或在线实时的方式，对用户进行评分，对其产品购买倾向给予评估，如果业务上认为购买倾向高于80%的用户值得投大力气进行重...
数据采集是做大数据分析的第一环，也是非常重要的一环，为上层应用不断地提供数据养料。做大数据分析常用的数据来源包括以下几种：1） 日志文件2） 数据库3） 网页4） APP不同的数据源使用的采集技术和工具是不同的：1） 日志文件日志文件常用的采集工具有Flume、Logstash...
默认存储再在etcd键值存储系统，当然，也可以存储在其他平台
