【原创】生产环境下Hadoop大集群安装与配置+DNS+NFS – 大数据-ITPUB论坛-it168旗下专业技术社区

一环境

Linux ISO：CentOS-6.0-i386-bin-DVD.iso 32位

JDK version：“1.6.0_25-ea” for linux

Hadoop software version：hadoop-0.20.205.0.tar.gz for linux

VMware® Workstation Version： 7.0.0 build-203739

我的linux虚拟机配置 master slave1 slave2 信息如下

主机名

节点名

备注

192.168.2.102

master

namenode和jobtracker

192.168.2.103

slave1

datanode和tasktracker

192.168.2.105

slave2

datanode和tasktracker

DNS服务器安装与配置参考链接，感谢yanggw8071 mikeliu chizeng

1. http://f.dataguru.cn/thread-49108-1-1.html

2. http://f.dataguru.cn/thread-52579-1-1.html

3. http://f.dataguru.cn/thread-56022-1-3.html

二 Bind安装DNS服务器并成功解析主机名

1.说明一下，我把DNS服务器安装到h1节点（master上）然后对h1 h2 h4 节点的主机名进行解析

2.需要h1节点可以上网，因为我们需要使用yum方式安装DNS的rpm包，上网方式如下

CentOS需要能连入网络，这个比较简单，可以参考《NOSQL系列-memcached安装管理与repcached高可用性》，这篇文章在一开始就介绍了虚拟机如何连接上网

http://f.dataguru.cn/thread-46905-1-1.html

3.原来我们使用的hosts文件来解析主机名，现在可以不使用了直接删除即可，我呢直接改名吧，这样留着备用

[root@h1 etc]# mv /etc/hosts /etc/hosts_20130126

4.有的筒子使用了webmin软件GUI方式配置了DNS服务器，这种方式是挺方便的界面化人性化，但我用惯了命令行（码农的归宿）所以直接使用rpm方式来安装DNS了

5.检查一下bind包有没有，这也是采用chroot机制

[root@h1 ~]# rpm -q bind

package bind is not installed

[root@h1 ~]# rpm -q bind-chroot

package bind-chroot is not installed

这里显示还没有安装，那么我们就需要yum方式安装啦

6.现在使用yum安装bind 和 bind-chroot 软件包

[root@h1 ~]# yum -y install bind bind-chroot

省略。。。。。。

Dependencies Resolved

=======================================================================================

Package Arch Version Repository Size

=======================================================================================

Installing: 安装这2个包

bind i686 32:9.8.2-0.10.rc1.el6_3.6 updates 4.0 M

bind-chroot i686 32:9.8.2-0.10.rc1.el6_3.6 updates 70 k

Updating for dependencies: 升级2个依赖包

bind-libs i686 32:9.8.2-0.10.rc1.el6_3.6 updates 882 k

bind-utils i686 32:9.8.2-0.10.rc1.el6_3.6 updates 180 k

Transaction Summary

=======================================================================================Install 2 Package(s)

Upgrade 2 Package(s)

Installed:

bind.i686 32:9.8.2-0.10.rc1.el6_3.6 bind-chroot.i686 32:9.8.2-0.10.rc1.el6_3.6

Dependency Updated:

bind-libs.i686 32:9.8.2-0.10.rc1.el6_3.6 bind-utils.i686 32:9.8.2-0.10.rc1.el6_3.6

Complete!

到此bind 和 bind-chroot包安装完成

[root@h1 ~]# rpm -q bind

bind-9.8.2-0.10.rc1.el6_3.6.i686

[root@h1 ~]# rpm -q bind-chroot

bind-chroot-9.8.2-0.10.rc1.el6_3.6.i686

哈哈现在都已经安装好了

7. yum install bind*还有三个包需要安装

[root@h1 etc]# yum install bind*

Dependencies Resolved

=======================================================================================

Package Arch Version Repository Size

=======================================================================================

Installing: 安装这3个包

bind-devel i686 32:9.8.2-0.10.rc1.el6_3.6 updates 376 k

bind-dyndb-ldap i686 1.1.0-0.9.b1.el6_3.1 updates 63 k

bind-sdb i686 32:9.8.2-0.10.rc1.el6_3.6 updates 305 k

Transaction Summary

=======================================================================================I

Install 3 Package(s)

Upgrade 0 Package(s)

Installed:

bind-devel.i686 32:9.8.2-0.10.rc1.el6_3.6

bind-dyndb-ldap.i686 0:1.1.0-0.9.b1.el6_3.1

bind-sdb.i686 32:9.8.2-0.10.rc1.el6_3.6

Complete!

现在都安装完毕了

8.修改named.conf文件，目录/etc/named.conf

[root@h1 etc]# vim /etc/named.conf 修改2处，标红显示

options {

listen-on port 53 { any; }; //把127.0.0.1 修改成 any

listen-on-v6 port 53 { ::1; };

directory “/var/named”;

dump-file “/var/named/data/cache_dump.db”;

statistics-file “/var/named/data/named_stats.txt”;

memstatistics-file “/var/named/data/named_mem_stats.txt”;

allow-query { any; }; //localhost 修改成 any

recursion yes;

dnssec-enable yes;

dnssec-validation yes;

dnssec-lookaside auto;

/* Path to ISC DLV key */

bindkeys-file “/etc/named.iscdlv.key”;

managed-keys-directory “/var/named/dynamic”;

};

logging {

channel default_debug {

file “data/named.run”;

severity dynamic;

};

zone “.” IN {

type hint;

file “named.ca”;

};

include “/etc/named.rfc1912.zones”;

include “/etc/named.root.key”;

9. 修改named.rfc1912.zones文件，目录/etc/named.rfc1912.zones

配置正向反向配置文件

[root@h1 etc]# vim /etc/named.rfc1912.zones 在这个文件末尾添加如下内容，红色是注意的地方

zone “leonarding.com” IN {

type master;

file “leonarding.com.zone“; 注意这是你自己设置的域名，要牢牢记住

allow-update { none; };

};

zone “2.168.192.in-addr.arpa” IN {

type master;

file “2.168.192.in-addr.zone“; 这是反向配置文件

allow-update { none; };

};

10.创建leonarding.com.zone和2.168.192.in-addr.zon 文件

[root@h1 etc]# cd /var/named 进入这个目录

[root@h1 named]# cp -p named.localhost leonarding.com.zone

[root@h1 named]# cp -p named.localhost 2.168.192.in-addr.zone

对这2个文件进行修改，修改成新的文件，这2个文件就是区域文件，一定要写对了，否则会报错

添加正向文件并且配置

[root@h1 named]# vim leonarding.com.zone

$TTL 86400

@ IN SOA h1.leonarding.com. chizk.www.leonarding.com. (

0 ; serial (d. adams)

1D ; refresh

1H ; retry

1W ; expiry

3H ) ; minimum

@ IN NS h1.leonarding.com.

h1.leonarding.com. IN A 192.168.2.102

h2.leonarding.com. IN A 192.168.2.103

h4.leonarding.com. IN A 192.168.2.105

添加反向文件并且配置

[root@h1 named]# vim 2.168.192.in-addr.zone

$TTL 86400

@ IN SOA h1.leonarding.com. chizk.www.leonarding.com. (

0 ; serial (d. adams)

1D ; refresh

1H ; retry

1W ; expiry

3H ) ; minimum

@ IN NS h1.leonarding.com.

102 IN PTR h1.leonarding.com.

103 IN PTR h2.leonarding.com.

105 IN PTR h4.leonarding.com.

修改正向文件和反向文件属组，使用chgrp即可

[root@h1 named]# chgrp named leonarding.com.zone

[root@h1 named]# chgrp named leonarding.com.rev

11.修改/etc/resolv.conf 添加DNS域名服务器ip

h1（master）

[root@h1 named]# vim /etc/resolv.conf

nameserver 192.168.2.102 在最后面追加此条即可，就是我的master机器ip

说明我们是把master机器作为DNS域名解析服务器，

h2（slave）

[root@h2 sysconfig]# vim /etc/resolv.conf

nameserver 192.168.2.102

h4（slave）

[root@h4 .ssh]# vim /etc/resolv.conf

nameserver 192.168.2.102

添加DNS域名服务器ip，当有域名或主机名解析的时候，就知道去哪台机器上进行映射了

12.启动DNS服务器

[root@h1 named]# service named start

启动 named：【确定】

13.使用nslookup命令测试域名解析

测试之前关闭防火墙

[root@h1 named]# service iptables status

Iptables：未运行防火墙

正向解析域名->IP

[root@h1 named]# nslookup h1.leonarding.com

Server: 192.168.2.102 指域名服务器ip地址

Address: 192.168.2.102#53 ip+端口号，DNS默认53端口

Name: h1.leonarding.com 域名解析

Address: 192.168.2.102 映射ip

[root@h1 named]# nslookup h2.leonarding.com

Server: 192.168.2.102 指域名服务器ip地址

Address: 192.168.2.102#53 ip+端口号，DNS默认53端口

Name: h2.leonarding.com 域名解析

Address: 192.168.2.103 映射ip

[root@h1 named]# nslookup h4.leonarding.com

Server: 192.168.2.102 指域名服务器ip地址

Address: 192.168.2.102#53 ip+端口号，DNS默认53端口

Name: h4.leonarding.com 域名解析

Address: 192.168.2.105 映射ip

反向解析IP->域名

[root@h1 named]# nslookup 192.168.2.102

Server: 192.168.2.102

Address: 192.168.2.102#5

102.2.168.192.in-addr.arpa name = h1.leonarding.com.

[root@h1 named]# nslookup 192.168.2.103

Server: 192.168.2.102

Address: 192.168.2.102#53

103.2.168.192.in-addr.arpa name = h2.leonarding.com.

[root@h1 named]# nslookup 192.168.2.105

Server: 192.168.2.102

Address: 192.168.2.102#53

105.2.168.192.in-addr.arpa name = h4.leonarding.com.

我们还可以使用host命令做解析测试

[root@h1 named]# host h2.leonarding.com

h2.leonarding.com has address 192.168.2.103

[root@h1 named]# host 192.168.2.103

103.2.168.192.in-addr.arpa domain name pointer h2.leonarding.com.

小结：到此我们使用Bind安装DNS服务器与配置，终于大功告成了，太不容易了，这是第一次独立完成DNS的配置和排除故障，之前也做过但一直顺风顺水，这次遇到了困难，还是应该多仔细认真反复查询测试，在此感谢ask兄的点拨！

三 生产环境下hadoop大集群NFS安装与配置

1.说明一下，我还是把NFS系统安装到h1节点（master上）然后把共享目录挂载到h1 h2 h4节点，实现ssh密钥的共享

2.NFS参考链接，感谢chizeng gaojian309

http://f.dataguru.cn/thread-56101-1-4.html

http://f.dataguru.cn/thread-56037-1-1.html

3.三台虚拟操作系统如下

主机名

节点名

备注

192.168.2.102

master

namenode和jobtracker

192.168.2.103

slave1

datanode和tasktracker

192.168.2.105

slave2

datanode和tasktracker

4.我们开始做实验啦

检查NFS包是否已经安装

[root@h1 ~]# rpm -qa | grep nfs

nfs-utils-1.2.2-7.el6.i686

nfs4-acl-tools-0.3.3-5.el6.i686

nfs-utils-lib-1.1.5-1.el6.i686

现在都已经安装到系统中了

检查rpcbind包是否已经安装

[root@h1 ~]# rpm -qa | grep rpcbind

rpcbind-0.2.0-8.el6.i686

现在都已经安装到系统中了

如果你的系统显示没有安装，可以使用yum install nfs-utils rpcbind 进行安装，然后配置

5.我们查看一下NFS服务和rpcbind服务是否启动

[root@h1 ~]# service nfs status

rcp.svcgssd 已停

rpc.mountd 已停

nfsd 已停

rpc.rquotad 已停 nfs已经停止了，我们现在应该启动nfs服务

[root@h1 ~]# service rpcbind status

rpcbind (pid 1431) 正在运行…….

6.启动服务

[root@h1 ~]# service nfs start

启动NFS服务【确定】

关掉NFS配额【确定】

启动FNS守护进程【确定】

启动NFS mountd 【确定】

设置开机启动

[root@h1 ~]# chkconfig nfs on

[root@h1 ~]# chkconfig rpcbind on

7.把/home/grid/目录设置为共享目录

[root@h1 grid]# vim /etc/exports 在exports文件中添加/home/grid *(sync,rw)字符串

/home/grid *(sync,rw)

解释

/home/grid 是NFS要共享的目录

星号代表所有ip地址

Rw为读写，ro为只读

Sync为立刻写入硬盘，rsync为优先写入缓存

No_root_squas root用户具有根目录的完全管理访问权限（这个如果不配置会造成远程root用户只读）

[root@h1 grid]# cat /etc/exports

/home/grid *(sync,rw)

8.重启rpcbind和nfs服务

[root@h1 grid]# service rpcbind restart

停止 rpcbind：【确定】

正在启动rpcbind 【确定】

[root@h1 grid]# service nfs restart

全部启动

注意这里也要关闭防火墙设置

9.输出本地挂载点（即master上的共享目录）

[root@h1 grid]# showmount -e localhost

Export list for localhost:

/home/grid *

解释：

/home/grid 是NFS要共享的目录

星号代表所有ip地址

10.客户端h2 h4上配置

登陆h2

[root@h2 ~]# mkdir /nfs_share 在根目标下创建挂载点

[root@h2 ~]# mount -t nfs 192.168.2.102:/home/grid /nfs_share/

在h2上访问h1把/home/grid目录挂载到/ nfs_share/目录下

drwx——. 38 grid hadoop 4096 12月 15 15:00 nfs_share

切换到grid用户进入共享目录查看

[grid@h2 ~]$ cd /nfs_share/

-bash: cd: nfs_share/: 权限不够

报错啦，权限不够，这是为什么呢，经过了激烈的测试，发现是h1中/home/grid目录权限问题

[root@h1 home]# chmod -R 777 grid 为了方便我直接给了全部权限，在h1上操作

[root@h2 /]# mount 192.168.2.102:/home/grid/ /nfs_share/ 在h2上重新挂载目录

[root@h2 /]# su – grid 切换用户

[grid@h2 /]$ cd nfs_share/ ok我们现在可以畅通无阻了

[grid@h2 nfs_share]$ cd .ssh 没有问题进来啦，成功

11.小测试

测试什么呢，我们不是设置了共享目录嘛，我在h1的共享目录上创建一个11111111.txt文件，然后登陆h2的挂载点，看看能不能查询到

h1 服务端

[root@h1 grid]# touch 11111111.txt

[root@h1 grid]# ll | grep 11111111.txt

h2 客户端

[grid@h2 nfs_share]$ ll | grep 11111111.txt

-rw-r–r–. 1 root root 0 1月 27 14:27 11111111.txt

12.设置开机后自动挂载nfs共享目录

修改fstab文件，这个文件描述了开机后应该挂载哪些挂载点

[root@h2 ~]# vim /etc/fstab 在最后添加这行命令

192.168.2.102:/home/grid /nfs_share nfs defaults 1 1

[root@h2 ~]# cat /etc/fstab

tmpfs /dev/shm tmpfs defaults 0 0

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

192.168.2.102:/home/grid /nfs_share nfs defaults 1 1

现在NFS配置成功

13.使用NFS共享密钥文件

h2 客户端

[grid@h2 .ssh]$ pwd

/nfs_share/.ssh

[grid@h2 .ssh]$ ln -s authorized_keys /home/grid/.ssh/authorized_keys

这种方式可能会导致软链接文件符号链接的层次过多，创建失败，但会有文件名注意文件名是红色的，这是不正常的，避免的方法是都使用绝对路径

还有另一种方法

[grid@h2 .ssh]$ cd ~/.ssh/

[grid@h2 .ssh]$ ln -s /nfs_share/.ssh/authorized_keys authorized_keys

authorized_keys -> /nfs_share/.ssh/authorized_keys

第一个authorized_keys指的是h2上的，第二个authorized_keys指的是h1上的，注意区分

我们用h1的authorized_keys文件来创建h2上authorized_keys文件软链接

注意如果原来h2上就有/home/grid/.ssh/authorized_keys文件需要先删除在创建

rm -rf /home/grid/.ssh/authorized_keys

我们在h2上看一下h1的authorized_keys文件内容

[grid@h2 .ssh]$ cat /nfs_share/.ssh/authorized_keys

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAr6+D01KKqeMUrkyakulV3su+9RU+jJ6sNJMlydxFq38oGBsJBwcskVL/I9ds7vE5g7coP+cMzgtRyj1ns+elgF0g3/uhtSerad4QdWXVLZgUjyUxijkm+nI3SSdwLihzsNNgH4GzeKX3HQAH/7S+rLoZSBPi//w9HYfO6VeXdo7N2lkvUxNW2z/h7JuYPMEqiaOIWAeLK7AJXhjJaeJkZh/ccGuEx4uBLRxqce5zjbNsFapoD2bact1w80a7mrgzAN3cVcQuQPzmpdj750negxMtai+QRmPDlSx2ZXtbarI4opSVmBiqpY84PJ/h9m5wptQ3hg/1XIxv4gyqwLSxZw== grid@h4

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5iKGfOGKh3d8BYr4vkkNaEtZkxCbBzBn6pfD0n3h82/1f9PwEtT4CEgqzBssYvQ2Nbc6dUy2NbDD9j5dIwQENS/fAJDwccdiJjEYMo5+o4ocPABx6OVM0r9nsUkyU7bxeHjap3ZUmcC1UvgW5asOsRMl7ePCze+rnt5D5ldZ+VOKh0NgtY2/CST8qXHmedfZFbQSEhIPf5Lh4A6oSoRHTFQbDN4apvf5s7Cm5/NgPiyhU+KbHBz96pNCxkjuOwj69a7kx4AgQYJoYc0T9O6YfjfVy3l1a7N2aJ6jp4SMv0GaohgzIrBNXwoFK6skuyf10yIxvNlGzkhTYK9GS9hjJw== grid@h2

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5V1lyss14a8aWFEkTk/aBgKHFLMX/XZX/xtXVUqJl8NkTQVLQ37+XLyqvTfrcJSja70diqB3TrwBp3K5eXNxp3EOr6EGHsi0B6D8owsg0bCDhxHGHu8RX8WB4DH9UOv1uPL5BESAPHjuemQuQaQzLagqrnXbrKix8CzdIEgmnOknYiS49q9msnzawqo3luQFRU7MQvAU9UZqkxotrnzHqh0tgjJ3Sq6O6nscA7w//Xmb0JGobVQAFCDJQdn/z1kOq7E5WNhVa8ynF9GOF7cMdppug7Ibw1RZ9cKa+igi1KhhavS5H7XCM64NuGfC87aQE9nz0ysS3Kh8PT5h6zlxfw== grid@h1

我们在看看h2的软链接文件内容是不是已经链过去了

[grid@h2 .ssh]$ cat authorized_keys

看一模一样

在H4节点上共享密钥文件

[root@h4 ~]# mkdir /nfs_share 在根目标下创建挂载点

[root@h4 ~]# mount -t nfs 192.168.2.102:/home/grid /nfs_share/

在h4上访问h1把/home/grid目录挂载到/ nfs_share/目录下

[root@h4 ~]# su – grid 切换到grid用户

[grid@h4 /]$ cd nfs_share/.ssh/ 我们可以成功进入共享目录来访问h1中的文件

修改fstab文件，这个文件描述了开机后应该挂载哪些挂载点

[root@h4 ruby]# vim /etc/fstab

tmpfs /dev/shm tmpfs defaults 0 0

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

192.168.2.102:/home/grid /nfs_share nfs defaults 1 1

在最后添加红色字符串一行，这样在重启时系统就会自动挂载NFS共享目录

[grid@h4 .ssh]$ cd ~/.ssh/ 进入h4的.ssh目录

[grid@h4 .ssh]$ rm -rf authorized_keys 发现原来存在authorized_keys文件顾删除

[grid@h4 .ssh]$ ln -s /nfs_share/.ssh/authorized_keys ~/.ssh/authorized_keys

authorized_keys -> /nfs_share/.ssh/authorized_keys 软链接文件已经生成

[grid@h4 .ssh]$ cat authorized_keys 查看软链接文件内容

小结：通过对比我们知道h1的authorized_keys授权文件和h2 h4上的软链接文件内容都是一模一样的，到此我们就可以免密码连入了

来源URL：http://www.itpub.net/thread-1760789-1-1.html