Hadoop集群运行有几种模式?分别是怎样的?

参与3

1同行回答

呱呱爱吃瓜呱呱爱吃瓜  数据仓库工程师 , 银行
三种模式 :单机模式伪分布式模式完全分布式模式单机模式默认模式。不对配置文件进行修改。使用本地文件系统,而不是分布式文件系统。Hadoop 不会启动 NameNode 、 DataNode 、 JobTracker 、 TaskTracker 等守护进程, Map() 和 Reduce() 任务作为同一个进程的不同部分来执...显示全部

三种模式 :

  • 单机模式
  • 伪分布式模式
  • 完全分布式模式

单机模式

  • 默认模式。
  • 不对配置文件进行修改。
  • 使用本地文件系统,而不是分布式文件系统。
  • Hadoop 不会启动 NameNode 、 DataNode 、 JobTracker 、 TaskTracker 等守护进程, Map() 和 Reduce() 任务作为同一个进程的不同部分来执行的。
  • 用于对 MapReduce 程序的逻辑进行调试,确保程序的正确。

伪分布式模式

  • 在一台主机模拟多主机。
  • Hadoop 启动 NameNode 、 DataNode 、 JobTracker 、 TaskTracker 这些守护进程都在同一台机器上运行,是相互独立的 Java 进程。
  • 在这种模式下, Hadoop 使用的是分布式文件系统,各个作业也是由 JobTraker 服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使用情况, HDFS 输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常用来开发测试 Hadoop 程序的执行是否正确。
  • 修改 3 个配置文件: core-site.xml ( Hadoop 集群的特性,作用于全部进程及客户端)、 hdfs-site.xml (配置 HDFS 集群的工作属性)、 mapred-site.xml (配置 MapReduce 集群的属性)
  • 格式化文件系统

完全分布式模式

  • Hadoop 的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。
  • 在所有的主机上安装 JDK 和 Hadoop ,组成相互连通的网络。
  • 在主机间设置 SSH 免密码登录,把各从节点生成的公钥添加到主节点的信任列表。
  • 修改 3 个配置文件: core-site.xml 、 hdfs-site.xml 、 mapred-site.xml ,指定 NameNode 和 JobTraker 的位置和端口,设置文件的副本等参数
  • 格式化文件系统
收起
银行 · 2019-12-24
浏览1431

提问者

Tamic
数据库架构师某保险

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-12-20
  • 关注会员:2 人
  • 问题浏览:1975
  • 最近回答:2019-12-24
  • X社区推广