大数据时代已经来临，教育行业作为社会大众共享的无形财富，其开放己成为数据整合和共享应用的前提条件。“十三五"期间有望形成和谐健康的行业生态。基础设施提供商、大数据服务商、数据挖掘与分析提供商、数据应用服务提供商、数据安全提供商、教育行政部门以及教育大数据...(more)

一、前言近年来互联网的新业形态快速涌现，互联网金融和金融大数据快速发展，对经济提质增效的促进作用不断凸显。阿里巴巴、腾讯、百度等数据研发应用企业开始引领数据产业的发展。同时政府和科研机构也高度关注大数据。2012年：广东省启动了《广东省实施大数据战略工作方案》...(more)

0===JRE环境安装配置uploadjre-7u45-linux-x64.tar.gzgzip-djre-7u45-linux-x64.tar.gztar-xvfjre-7u45-linux-x64.tarvi/etc/profileexportJAVA_HOME=/root/soft/jre1.7.0_45exportJRE_HOME=/root/soft/jre1.7.0_45/jreexportPATH=$PATH:/root/soft/jre1.7.0_45/binexpo...(more)

数据湖项目的可行性a)数据湖技术大数据的出现，以及大数据处理平台Hadoop架构的出现，催生了数据湖的产生。最初数据湖的概念是2011年首先出现的，可以说，就像数据仓库是处理结构化数据的过程一样，数据湖是Hadoop用于处理大数据，包含结构化数据，非结构化数据的过程。虽然使用的技术...(more)

UliBethke发表的这篇文章，介绍了数据建模到维度建模，以及数据仓库和反规范化一系列知识。比较了MPP和Hadoop的不同，并对如何在大数据和Hadoop平台上进行维度建模，给出了很好的建议和方案。维度建模已死？在回答这个问题之前，让我们回头来看看什么是所谓的维度数据建模。为什么需...(more)

如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一...(more)

在HDFS中，DataNode将数据块存储到本地文件系统目录中，具体的目录可以通过配置hdfs-site.xml里面的dfs.datanode.data.dir参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不同的设备上，比如分别配置到不同的HDD（HDD的全称是HardDiskDrive）和SSD（全称Soli...(more)

NamenodeHA原理详解社区hadoop2.2.0release版本开始支持NameNode的HA，本文将详细描述NameNodeHA内部的设计与实现。为什么要NamenodeHA？NameNodeHighAvailability即高可用。NameNode很重要，挂掉会导致存储停止服务，无法进行数据的读写，基于此NameNode的计算（MR，Hive等）也无法完成...(more)

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，他从0.x版本到现在的3.0版本，经历了各种变化。但是变化中有不变的是他的主要功能就是Hdfs（分布式文件存储），Mapreduce（分布式并行计算框架）。其中，Hdfs主要是用来进行文件的存储，他涉及文件存储不同压缩方式，文件存储在各个...(more)

Common一组由分布式文件系统和通用I/O的组件与接口(序列化,JavaRPC,持久化数据结构)。Avro一种支持高效、跨语言的RPC以及永久化存储数据的序列化系统。MapReduce分布式数据处理模型和执行环境，运行于大型的商用机集群。HDFS分布式文件系统，运行于大型的商用机集群。Pig一...(more)