监控与运维每一款驱动程序都拥有自己的一套Web UI，通常为端口4040，其中显示所有实用性信息——包括当前运行任务、调度程度、执行器、阶段、内存与存储使用率、RDD等等。这套UI主要充当信息交付工具，而非针对Spark应用程序或者集群的管理方案。当然，这也是调试以及性能调整之...(more)

摘要：Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。而另一方面，MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候，谷歌好像早已进入到了下一个时代。Hadoop技术已经无处不在。不管是好是坏，Hadoop已经成为大数据的代名词。短短几年...(more)

首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，其包括两种类型的任务：map任务和reduce任务。有两种类型的节点控制着作业执行过程：jobtracker和多个tasktracker。job...(more)

从Teradata第四季度财报电话会议上，你已经看到这家公司与其他数据仓库公司的竞争远不如Hadoop那么大。Teradata首席执行官Mike Koehler以及首席财务官Steve Scheppmann在公司财报电话会议上不断谈论Hadoop。是Hadoop抢走了Teradata的生意吗？收入受到了怎样的影响？Teradata是...(more)

　　1.大数据就是大　　大数据不是“大”，而是多样的。“大”是误读。我们经常谈论每时每刻在各行各业实时产生多少数据，它是具体而微的，具体到某个人用信用卡在什么时候什么燃气站买了多少燃气，大数据是由许许多多这样的细微数据组成的。它是“沙尘暴”，不是“山崩地裂”，沙尘...(more)

    Google强大的搜寻引擎每天处理庞大的搜寻数据，靠的是数十万的伺服器同时作工。然而一般企业并无法使用Google所用的内部搜寻引擎工具，所以，拥有处理大数据工具的分散式运算平台Hadoop应运而生。    但问题是Hadoop使用上有难度，数据处理公司Clo...(more)

我虽然处在政府行业中，对在信息话方面也谈的比较多，但是什么是我们这行的一个趋势呢？其实不同的企业有不同的认识和历届。今天我主要结合相关媒体的报道试着从我个人实践经验理解的角度进行分析，有失偏颇的地方请大家批评指正。电子政务在推进服务型政府建设的过程中起着重要...(more)

通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群...(more)

编写人：胡旻   版本：V_0.5   修改时间：20150301大多数Hive表属性可以通过ALTER TABLE 语句来进行修改。这种修改会修改元数据，但不会修改数据本身。这些语句可用于修改表模式中出现的错误、改变分区路径，以及一些操作。 表重命名使用以下这个语句可...(more)

尽管适合大多数批处理工作负载，而且在大数据时代成为企业的首选技术，但由于以下几个限制，它对一些工作负载并不是最优选择： 缺少对迭代的支持 需要将中间数据存在硬盘上以保持一致性，因此会有比较高的延迟 当然，整个Hadoop生态系统是在不断演进的，包括Map/Reduce已经证明...(more)