大数据时代，研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构、优化业务逻辑、优化数据分析算法、优化节点性能等方向，而忽略了大数据环境基础设置中网络环节的评估和优化。本文介绍了思科公司在Hadoop 集群环境下的网络架构设计与优化经验。大数据Hadoop环境网络...(more)

hadoop是隶属于Apache软件基金会（Apache SoftwareFoundation）的开源JAVA项目，它是一个分布式的具有可靠性和可扩展性的存储与计算平台。历经多年发展，Hadoop社区不断扩大，而Hadoop本身也已经演变成为一个拥有众多子项目的项目集合，其中最核心的部分是用于分布式存储HDFS（HadoopD...(more)

Hadoop性能优化：Hadoop机架感知实现及配置：分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机...(more)

我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。1. 网络带宽Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问...(more)

集群两个Standby的故障记录by：胡旻集群突然出现两个Standby的情况，找了半天原因，既然一无所获，导致上面的各种服务罢工如hive/Pig 在检查日志后发现日志中出现两个Standby。检查相应进程，发现ZKFC进程不在运行状态，PS：不知道那个小伙伴误操作将ZKFC关闭。只有重新启动ZKFC进程 ...(more)

活动简介 随着DT时代的到来，传统企业、互联网公司产生的数据量越来越大，每天会产生上百G数据量。企业也开始使用hadoop来处理和存储如此庞大的数据。然而搭建集群很简单，但是如何让“大象”能快速的跑起来，...(more)

大数据是目前IT技术中最火热的话题，也是未来的行业方向，越来越多的人参与到大数据的学习行列中。从最基础的伪分布式环境搭建，再到分布式环境搭建，再进入代码的编写工作。这时候码农和大牛的分界点已经出现了，所谓的码农就是你让我做什么我就做什么，我只负责实现，不管原理，也不想...(more)

SAP近期发布的SAP HANA Service Pack 10（SPS10）对物联网进行了更好地集成，其中包括对Hadoop的增强支持。据介绍，针对SAP HANA平台的SPS10所提供的新功能可以帮助企业接入物联网，更有效的管理大数据，并能跨企业扩展数据可用性。Marie Goodell是SAP营销平台的负责人，她说此发布版...(more)

Hadoop是什么？为何它如此重要？Hadoop提供了一个用于存储大规模数据的开源平台。Hadoop是一个开放工具集，支持可变连接类型和数据结构。它开放给云环境中位于多个主机的分布式数据平台。简单地说，它是一种数据存储方式，支持使用多个平台和多个操作系统的多个计算机。它是一个Ap...(more)

Spark 是目前相当火热的开源计算框架，相对于 Hadoop ，Spark优势是高性能和易用性。Spark的高性能源于其采用内存储存数据，应用可以以内存的速度进行运算；Spark的易用性在于通用的API，用户可以编写复杂的并行计算程序，使之看上去就像串行程序。这也使得Spark程序更容易开发和读...(more)