发个牢骚，搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司，都需要对数据仓库有一定的重视，而不是谈一句自己是搞大数据的就很厉害了。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。现在...(more)

简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。在之前的文章中，我们曾经介绍过有关大数据系...(more)

技术篇2006年项目成立的一开始，“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头，这个单词代表的是“核心”（即Core Hadoop项目）以及与之相关的一个不断成长的生态系统。这个和Linux非常类似，都是由一个核心和一个生态系统组成。现在Hadoop在一月发...(more)

关于Hive Metastore模式杂谈本文为胡旻整理，转载请注明Hive的元数据服务在关系型数据库中存储了Hive表、分区的元数据。并通过元数据服务API提供客户端访问这些信息。元数据的部署模式嵌入模式对于实验环境我们可以使用如下的模式来部署元数据这是默认的Hive元数据部署模...(more)

整理人：胡旻       版权所有，转载请注明今天把大数据相关技术搜集了下，整理如下，接下来这段时间就要围绕这些内容开展相应的深入学习和各位分享核心技术 Hadoop Distributed File System(HDFS) 许可证 Apache License, Vers...(more)

本文为胡旻整理编写，版权所有，转载请注明WebHCat简介WebHCat为HCatalog提供REST API服务。整体架构如下：使用WebHCat和其包含的安全模式，程序能够通过REST的API很安全的链接和操作HCatalog提供的服务。可提供以下操作：基于REST的API调用可以管理数据库、表、分区、列和表的属...(more)

本文为胡旻编写，转载请注明对于集群我们经常会启用公平调度或容量调度来满足多用户的需求，这个时候我们需要去设定相应的队列以及队列的优先级。这里以用到MR和TEZ引擎为例。我这里的队列如下：拥有marketing和operations两个队列分别占用30%和70%的能力总的来说设置如下：作业...(more)

今天在网上看到一篇Hadoop存储规划的文章觉得值得新手参考，于是记入分享如下，本文不是胡旻编写，特此声明http://chuansong.me/n/1069301记得刚开始使用Hadoop的时候，我们是一个团队共用一个集群，每个人都按照自己的经验习惯来操作，大家都习惯把文件创建到根目录下，创建的名称也...(more)

在大数据的潮流中，传统的通信运营商拥有丰富的网络传输数据，利用Hadoop对其丰富的数据资源进行有效利用。电商每日面对上亿的日志数据处理无论对时间跟数据的准确性都有很高的要求，那么Hadoop在通信，电商行业大数据处理中，又扮演怎样的角色呢？本次活动主要探讨的问题：1.实时数据...(more)

胡旻整理 转载请注明在进行Hadoop集群部署的过程中，我们会经常遇到需要确定Yarn中容器Container，Mapreduce相关Slot的内存设置情况，对于初始集群，由于不知道集群的类型(如CPU密集、IO密集还是网络密集)我们需要根据经验提供给我们一个参考配置值，来作为基础的配置。完成这一任...(more)