商务智能的真正意义是在有了计算机大数据分析数据以后才成就了现实。由此看来，商业智能是离不开计算机大数据处理技术的。可以这样说，没有计算机时代，没有大数据分析技术，这再有用的商业智能也都无从谈起。商务智能既然跟计算机技术，能跟大数据分析技术息息相关，那么，一切的商业...(more)

整理人：胡旻       版权所有，转载请注明今天把大数据相关技术搜集了下，整理如下，接下来这段时间就要围绕这些内容开展相应的深入学习和各位分享核心技术 Hadoop Distributed File System(HDFS) 许可证 Apache License, Vers...(more)

本文为胡旻整理编写，版权所有，转载请注明WebHCat简介WebHCat为HCatalog提供REST API服务。整体架构如下：使用WebHCat和其包含的安全模式，程序能够通过REST的API很安全的链接和操作HCatalog提供的服务。可提供以下操作：基于REST的API调用可以管理数据库、表、分区、列和表的属...(more)

本文为胡旻编写，转载请注明对于集群我们经常会启用公平调度或容量调度来满足多用户的需求，这个时候我们需要去设定相应的队列以及队列的优先级。这里以用到MR和TEZ引擎为例。我这里的队列如下：拥有marketing和operations两个队列分别占用30%和70%的能力总的来说设置如下：作业...(more)

今天在网上看到一篇Hadoop存储规划的文章觉得值得新手参考，于是记入分享如下，本文不是胡旻编写，特此声明http://chuansong.me/n/1069301记得刚开始使用Hadoop的时候，我们是一个团队共用一个集群，每个人都按照自己的经验习惯来操作，大家都习惯把文件创建到根目录下，创建的名称也...(more)

在大数据的潮流中，传统的通信运营商拥有丰富的网络传输数据，利用Hadoop对其丰富的数据资源进行有效利用。电商每日面对上亿的日志数据处理无论对时间跟数据的准确性都有很高的要求，那么Hadoop在通信，电商行业大数据处理中，又扮演怎样的角色呢？本次活动主要探讨的问题：1.实时数据...(more)

胡旻整理 转载请注明在进行Hadoop集群部署的过程中，我们会经常遇到需要确定Yarn中容器Container，Mapreduce相关Slot的内存设置情况，对于初始集群，由于不知道集群的类型(如CPU密集、IO密集还是网络密集)我们需要根据经验提供给我们一个参考配置值，来作为基础的配置。完成这一任...(more)

CMO（首席营销官）及市场决策者们每天都在寻找这些问题的答案：“为什么这个客户会购买我们的产品？什么样的事件及互动导致了如此购买行为？”将一切归之于购买行为发生前的最后一步是一种简单的方法，但是这无助于从整个购买流程中发现亮点。找出整个流程中的事件和互动发生在何时，...(more)

胡旻整理 转载请注明最近团队在整理一些Hadoop版本的自动化运维的经验，在运行hadoop 2版本过程中，一个小伙子发现${dfs.namenode.name.dir}/current目录下的fsimage_*只有2个，而edits_*文件越来越多。故整理一下相关配置。在hadoop_2中关于fsimage和editlogs的相关配置有如...(more)

社区专家美国队长入驻『Hadoop应用』美国队长的社区个人主页：http://www.db2china.net/home/space.php?uid=208821擅长传统数据库Oracle，MySQL，分布式数据库greenplum跟vertica，大数据处理技术hadoop，hbase，hive，流式计算storm 。...(more)