集群两个Standby的故障记录by：胡旻集群突然出现两个Standby的情况，找了半天原因，既然一无所获，导致上面的各种服务罢工如hive/Pig 在检查日志后发现日志中出现两个Standby。检查相应进程，发现ZKFC进程不在运行状态，PS：不知道那个小伙伴误操作将ZKFC关闭。只有重新启动ZKFC进程 ...(more)

编写者胡旻     版权所有 转载请注明 对于写过WordCount的MapReduce程序的同学来说。会感受到这是Hadoop中数据处理的低层次实现，实际上直接编写MapReduce程序只是Hadoop中数据处理的一种方式，而且其实用性比较有限。 Hive就是设计出来简化H...(more)

胡旻整理        转载请注明Hadoop生态系统系统组件在当前的Hadoop生态系统中： HDFS是主要的存储，在此之上，我们可以使用Snappy、RCFile、Parquet和ORCFile来优化存储。   Hadoop的MapReduce发布了2.0版本，在YARN上运行。有更好的...(more)

Apache Hive 1.0.1/1.1.1 发布，两个版本都修复了一个有关 LDAP 身份验证提供者实施漏洞的问题，并且两个版本都改善了 Hive 的连接服务。两个版本具体更新信息如下：Apache Hive 1.0.1 发行页面。Apache Hive 1.1.1 发行页面。下载页面如下：https://hive.apache.org/downloads....(more)

1、        检查安装环境安装gcc-c++,cyrus-sasl,python-devel安装cyrus-sasl-devel-2.1.23-15.el6.i686.rpm,根据版本决定2、        安装pyhs2使用pyshon的pip命令安装pyhs2pip inst...(more)

虚拟机下载，以及序列号准备VMware Workstation v11.1.0 https://download3.vmware.com/software/wkst/file/VMware-workstation-full-11.1.0-2496824.exekey ：1F04Z-6D111-7Z029-AV0Q4-3AEH8 Linux操作系统Centos 6.6CentOS-6.6-i386-minimal.iso 虚拟机网络 参...(more)

社区专家潘志伟入驻『Hadoop应用』潘志伟的个人社区主页：http://www.db2china.net/home/space.php?uid=16003310年软件开发经验，从事于移动互联网领域，专注大数据云计算领域。熟悉使用hadoop,hbase,storm,hive等大数据生态圈工具，目前在架构千万级别IM系统。...(more)

编写人：胡旻   版本：V_0.5   修改时间：20150406 Hive提供了运行SQL语句查询存储在HDFS上数据的能力，Hive提供的查询引擎，可以将SQL语句转化成MapReduce任务，提交到Hadoop集群上执行。MapReduce任务运行的结果会存在HDFS上。下面的图表示了一个用户运...(more)

监控与运维每一款驱动程序都拥有自己的一套Web UI，通常为端口4040，其中显示所有实用性信息——包括当前运行任务、调度程度、执行器、阶段、内存与存储使用率、RDD等等。这套UI主要充当信息交付工具，而非针对Spark应用程序或者集群的管理方案。当然，这也是调试以及性能调整之...(more)

编写人：胡旻   版本：V_0.5   修改时间：20150301大多数Hive表属性可以通过ALTER TABLE 语句来进行修改。这种修改会修改元数据，但不会修改数据本身。这些语句可用于修改表模式中出现的错误、改变分区路径，以及一些操作。 表重命名使用以下这个语句可...(more)