Hadoop中需要哪些配置文件,其作用是什么?

参与3

1同行回答

呱呱爱吃瓜呱呱爱吃瓜数据仓库工程师银行
1 core-site.xml :(1)fs.defaultFS:hdfs://cluster1( 域名 ) ,这里的值指的是默认的 HDFS 路径 。(2)hadoop.tmp.dir:/export/data/hadoop_tmp, 这里的路径默认是 NameNode 、 DataNode 、 secondaryNamenode 等存放数据的公共目录。用户也可以自己单独指定这三类节点的目...显示全部

1 core-site.xml :

(1)fs.defaultFS:hdfs://cluster1( 域名 ) ,这里的值指的是默认的 HDFS 路径 。

(2)hadoop.tmp.dir:/export/data/hadoop_tmp, 这里的路径默认是 NameNode 、 DataNode 、 secondaryNamenode 等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。

(3)ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181, 这里是 ZooKeeper 集群的地址和端口。注意,数量一定是奇数,且不少于三个节点 。

2 hadoop-env.sh: 只需设置 jdk 的安装路径,如: export JAVA_HOME=/usr/local/jdk 。

3 hdfs-site.xml :

(1) dfs.replication: 他决定着系统里面的文件块的数据备份个数,默认为 3 个。

(2) dfs.data.dir:datanode 节点存储在文件系统的目录。

(3) dfs.name.dir: 是 namenode 节点存储 hadoop 文件系统信息的本地系统路径 。

4 mapred-site.xml :

mapreduce.framework.name: yarn 指定 mr 运行在 yarn 上。

收起
银行 · 2019-12-24
浏览2614

提问者

Tamic
数据库架构师某保险

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-12-19
  • 关注会员:2 人
  • 问题浏览:3148
  • 最近回答:2019-12-24
  • X社区推广