1.jpg前言说起大数据处理，一切都起源于Google公司的经典论文：《MapReduce:SimpliedDataProcessingonLargeClusters》。在当时（2000年左右），由于网页数量急剧增加，Google公司内部平时要编写很多的程序来处理大量的原始数据：爬虫爬到的网页、网页请求日志；计算各种类型的派生数据：倒...(more)

本文调查分析了多个分布式机器学习平台所使用的设计方法，并提出了未来的研究方向。机器学习，特别是深度学习（DL），最近已经在语音识别、图像识别、自然语言处理、推荐/搜索引擎等领域获得了成功。这些技术在自主驾驶汽车、数字卫生系统、CRM、广告、物联网等方面都存在着非常有...(more)

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDFS，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此HBase被广泛使用在大数据存储的解决方案中。为何使用HBaseHBase的优点：列可以动态增加，并且列为...(more)

NamenodeHA原理详解社区hadoop2.2.0release版本开始支持NameNode的HA，本文将详细描述NameNodeHA内部的设计与实现。为什么要NamenodeHA？NameNodeHighAvailability即高可用。NameNode很重要，挂掉会导致存储停止服务，无法进行数据的读写，基于此NameNode的计算（MR，Hive等）也无法完成...(more)

介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是mapreduce作业初始化的时间是比较长的。sum,count,m...(more)

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，他从0.x版本到现在的3.0版本，经历了各种变化。但是变化中有不变的是他的主要功能就是Hdfs（分布式文件存储），Mapreduce（分布式并行计算框架）。其中，Hdfs主要是用来进行文件的存储，他涉及文件存储不同压缩方式，文件存储在各个...(more)

本文将简要介绍Spark机器学习库（SparkMLlib’sAPIs）的各种机器学习算法，主要包括：统计算法、分类算法、聚类算法和协同过滤算法，以及各种算法的应用。你不是一个数据科学家。“根据科技和商业媒体报道，机器学习将防止全球变暖”，显然只有中国的新闻媒体才会发布类似的虚假新闻，可...(more)

ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0（包括YARN和MapReduce）是一致的。Hadoop2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而ApacheSpark则直接采用了开源软件Akka，该软件实现了Actor模型...(more)

Common一组由分布式文件系统和通用I/O的组件与接口(序列化,JavaRPC,持久化数据结构)。Avro一种支持高效、跨语言的RPC以及永久化存储数据的序列化系统。MapReduce分布式数据处理模型和执行环境，运行于大型的商用机集群。HDFS分布式文件系统，运行于大型的商用机集群。Pig一...(more)

发个牢骚，搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司，都需要对数据仓库有一定的重视，而不是谈一句自己是搞大数据的就很厉害了。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。现在...(more)