CMO（首席营销官）及市场决策者们每天都在寻找这些问题的答案：“为什么这个客户会购买我们的产品？什么样的事件及互动导致了如此购买行为？”将一切归之于购买行为发生前的最后一步是一种简单的方法，但是这无助于从整个购买流程中发现亮点。找出整个流程中的事件和互动发生在何时，...(more)

胡旻整理 转载请注明最近团队在整理一些Hadoop版本的自动化运维的经验，在运行hadoop 2版本过程中，一个小伙子发现${dfs.namenode.name.dir}/current目录下的fsimage_*只有2个，而edits_*文件越来越多。故整理一下相关配置。在hadoop_2中关于fsimage和editlogs的相关配置有如...(more)

社区专家美国队长入驻『Hadoop应用』美国队长的社区个人主页：http://www.db2china.net/home/space.php?uid=208821擅长传统数据库Oracle，MySQL，分布式数据库greenplum跟vertica，大数据处理技术hadoop，hbase，hive，流式计算storm 。...(more)

大数据时代，研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构、优化业务逻辑、优化数据分析算法、优化节点性能等方向，而忽略了大数据环境基础设置中网络环节的评估和优化。本文介绍了思科公司在Hadoop 集群环境下的网络架构设计与优化经验。大数据Hadoop环境网络...(more)

hadoop是隶属于Apache软件基金会（Apache SoftwareFoundation）的开源JAVA项目，它是一个分布式的具有可靠性和可扩展性的存储与计算平台。历经多年发展，Hadoop社区不断扩大，而Hadoop本身也已经演变成为一个拥有众多子项目的项目集合，其中最核心的部分是用于分布式存储HDFS（HadoopD...(more)

Hadoop性能优化：Hadoop机架感知实现及配置：分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机...(more)

我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。1. 网络带宽Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问...(more)

集群两个Standby的故障记录by：胡旻集群突然出现两个Standby的情况，找了半天原因，既然一无所获，导致上面的各种服务罢工如hive/Pig 在检查日志后发现日志中出现两个Standby。检查相应进程，发现ZKFC进程不在运行状态，PS：不知道那个小伙伴误操作将ZKFC关闭。只有重新启动ZKFC进程 ...(more)

活动简介 随着DT时代的到来，传统企业、互联网公司产生的数据量越来越大，每天会产生上百G数据量。企业也开始使用hadoop来处理和存储如此庞大的数据。然而搭建集群很简单，但是如何让“大象”能快速的跑起来，...(more)

大数据是目前IT技术中最火热的话题，也是未来的行业方向，越来越多的人参与到大数据的学习行列中。从最基础的伪分布式环境搭建，再到分布式环境搭建，再进入代码的编写工作。这时候码农和大牛的分界点已经出现了，所谓的码农就是你让我做什么我就做什么，我只负责实现，不管原理，也不想...(more)