众所周知 Hadoop是一个单点系统,即所谓的spof,所以元数据的保护就是重中之重。目前元数据写两份,分别是本地的磁盘,远程的磁盘。还有一个secondary namenode做冷备。写到远程的磁盘就需要的是NFS服务了。
NFS(Network File System, 网络文件系统)可以通过网络将分享不同主机(不同的OS)的目录——可以通过NFS挂载远程主机的目录, 访问该目录就像访问本地目录一样。
首先下载NFS,网址是http://sourceforge.net/projects/nfs/files/ 选择合适的版本下载。到server和client机器安装。
编辑server主机的文件/etc/exports /etc/hosts.allow /etc/hosts.deny三个文件。
对/etc/exports 加入例如:/data0 10.39.2.121(rw,no_root_squash)
其中/data0为对外开放的目录 后面是机器加权限,详细说明见 http://nfs.sourceforge.net/nfs-howto/ar01s03.html
启动nfs server的服务:
/etc/init.d/portmap start
/etc/init.d/nfslock start
/etc/init.d/nfs start
在client端同样启动相同的服务。
同时在client端挂在远程目录 sudo mount master:/data0/ /data1
/data1是client端本地目录。
相关阅读:
Hadoop在NFS上的配置 http://www.linuxidc.com/Linux/2012-04/58109.htm
Hadoop&Hbase 备份方案–NFS http://www.linuxidc.com/Linux/2012-06/63557.htm
基于Hadoop集群的Hive安装 http://www.linuxidc.com/Linux/2013-07/87952.htm
Hadoop环境配置过程中可能遇到问题的解决方案 http://www.linuxidc.com/Linux/2013-07/87905.htm
基于Ubuntu 12.04+Hadoop1.2.0 的Hadoop集群搭建 http://www.linuxidc.com/Linux/2013-07/87583.htm
Hadoop Eclipse 插件编译安装1.2.0 http://www.linuxidc.com/Linux/2013-07/87428.htm