Linux_RedHat、CentOS上搭建Hadoop集群
正在加载中...
资料简介:
一.Hadoop工作模式:
关于Hadoop平台的搭建分为三种模式:
1单机模式 :默认情况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助
2.伪分布式模式 :Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。
3.完全分布式模式 :有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千个节点的超大集群
二.实验环境
操作系统:RedHat Enterprise Linux 5.6
clovem001 192.168.0.101
clovem002 192.168.0.102
clovem003 192.168.0.103
三.所需软件:
Hadoop版本:hadoop-0.20(http://labs.renren.com/apache-mirror//hadoop/common/stable/
SSH:必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程 (系统一般默认安装)
rsync:用于系统进行远程同步,系统默认安装。
JDK版本:JDK1.6 (http://www.oracle.com/technetwor ... ownloads/index.html )
完整版本:
关于Hadoop平台的搭建分为三种模式:
1单机模式 :默认情况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助
2.伪分布式模式 :Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。
3.完全分布式模式 :有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千个节点的超大集群
二.实验环境
操作系统:RedHat Enterprise Linux 5.6
clovem001 192.168.0.101
clovem002 192.168.0.102
clovem003 192.168.0.103
三.所需软件:
Hadoop版本:hadoop-0.20(http://labs.renren.com/apache-mirror//hadoop/common/stable/
SSH:必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程 (系统一般默认安装)
rsync:用于系统进行远程同步,系统默认安装。
JDK版本:JDK1.6 (http://www.oracle.com/technetwor ... ownloads/index.html )
完整版本:
2014-12-24
页数9
浏览2492
下载20