Hadoop2.5.0完全分布式配置(1主3从) – 君子不器。 – 开源中国社区

1、开发配置环境：

具体的就不介绍了，请参考我另外一篇文章http://my.oschina.net/lanzp/blog/309078

2、Hadoop节点配置

在讲解之前，先声明一点，这篇文章的所有环境都是基于上一篇伪分布的配置文章的基础上再做配置的，如果你没有看过我之前的那篇文章，建议你先去阅读一下。

现在网上比较少新版本的配置教程，那么下面我就来分享一下我自己的实战经验，如有不正确的地欢迎指正

🙂

  首先，我们的节点信息如下：

我是用虚拟机做的，主节点（Master）配置好后作为模板，其他3个从节点（slave1、slave2、slave3）直接做虚拟机拷贝，其中slave1还兼任了第二namenode节点。因为主节点的配置跟从节点的配置是完全一样的，拷贝完后只需要做两件事：修改hostname、重新生成SSH无口令登陆的KEY。拷贝完成后启动如果网络有问题，直接百度谷歌就行了。关于修改hostname对应上面的IP修改成相应的名称就可以了，如192.168.8.184修改成master。而用户名、密码完全可以不需要修改，当然你要改也是没有问题的，节点多了不好记哦。首先，我们先来讲一下配置，一共要配置6个文件，分别是core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、masters、slaves，其中masters文件可能会在配置目录下不存在，自己新建一个就可以了，详细配置如下：

core-site.xml：

hdfs-site.xml：

mapred-site.xml：

yarn-site.xml：

masters：

slaves：

具体每个参数代表什么意思，直接查官网或者看description信息就可以知道了，根据你自己实际的情况去修改就可以了。我们配置的时候主要是配置了NameNode、DataNode、ResourceManager、Map/Reduce 的JobHistory Server，配置上我已经有注释加以说明了，看起来会更清晰明了。这里或许有人会疑问，上面的配置好像只指定了NameNode、Secondary NameNode 的，没有指定DataNode的信息，其实对于DataNode而言，它只需要知道自己从属哪个NameNode节点就可以了，通过masters、slaves文件可以清晰地定义清楚它们之间的关系，不需要更多的配置，在启动主节点的时候，主节点会根据这两个文件定义的关系去启动子节点（当然，他们之间要实现无口令连接通讯才行）。下面要讲解一下SSH的无口令登陆设置。由于从节点（slave1、slave2、slave3）是在主节点那边直接拷贝过来的，建议重新生成一下KEY：

从节点（slave1、slave2、slave3）执行上面的命令重新生成完KEY之后，主节点需要与从节点建立无密码登陆，那么，就需要把主节点的KEY添加到从节点的授权列表中，这样主节点才能不需要输入密码的情况下连接访问从节点。步骤如下：

1.         把主节点的公钥复制到从节点中。

2.         从节点把主节点的公钥写入授权列表。

首先，在主节点中切换到/home/a01513目录下（注意：a01513是我的操作系统用户名，实际名称根据你系统的用户名改成相应的名称就可以了）：

然后复制，这里我以slave1节点为例：

这里可能要你输入slave1（192.168.8.183）的主机密码，输入就可以了，输入完成后到slave1节点终端输入以下命令把主节点的公钥复制到授权列表：

回到主节点终端中输入：

如果不需要输入密码就连接成功的话，证明你配置对了，恭喜！

如果上面的步骤完成了，那么下面进行格式化文件系统：

然后启动HDFS、YARN、JobHistory进程：

注意旧版本的start-all.sh已经被上面两个脚本替代了，不过好像这命令还可能用，建议还是用上面两个吧。

关闭也很简单：

至此，我们的完全分布式配置已经大功告成！

来源URL：http://my.oschina.net/lanzp/blog/347437