总的来说，hadoop并不适合搭建在NFS上。一来是NFS的存储成本过高，二来损失了hadoop原本在分布式上的“本地性”特点。
不过由于各种各样的原因，有时候需要在分布式文件系统NFS上搭建hadoop。分布式NFS这种架构主要是计算节点和存储节点的分离。计算节点带有少量的存储。在某些情况下甚至没有存储可以用，这是因为计算节点除了装系统的空间外，不给用户在计算节点上存储任何东西。
因此，搭建hadoop也就可以分两种情况：
一、计算节点上有存储空间可以使用的情况。
这种情况其实较好处理。因为计算节点可以有存储可以用，因此可以把HADOOP_HOME设在每个计算节点的存储上，这个目录一般来说最多几百兆，而类似logs,tmp目录设置到NFS上，因为它们非常占存储，而且随着时间的推移，所占的空间越来越多，因此如果是放在计算节点上肯定是不行的。对于HADOOP_HOME，每个数据节点上的路径都是一致的。而logs和tmp目录应该根据每个不同的datanode设置不同的路径。
例如：
HADOOP_HOME在(hadoop-env.sh)中可以设置为：
- export HADOOP_HOME=/tmp/hadoop
其中/tmp目录属于计算节点的存储。
而log和pid目录在(hadoop-env.sh)中可以设置到NFS上去，其中/ifs/HDFS/hadoop为NFS上的路径。当然这两个路径虽然并不是非常占存储，不过随着集群运行的时间越来越长，log日志也会越来越大，因此放在NFS上是比较保险的。hadoop0表示第0个datanode，对于其他的datanode也要设置相应的路径。如hadoop1，hadoop2……等等。
- export HADOOP_LOG_DIR=/ifs/HDFS/hadoop/hadoop0/logs
- export HADOOP_PID_DIR=/ifs/HDFS/hadoop/hadoop0/pids
另外就是设置存储hdfs上数据的tmp目录，在core-site.xml中：
- hadoop.tmp.dir
- /ifshk4/HDFS/hadoop/hadoop0/tmp
- A base for other temporary directories.
对于其他的datanode上的配置文件也做类似的更改。更好完之后，就是每台datanode在自己的存储上有相应的HADOOP_HOME目录，该目录下放置着与该datanode相关的配置文件，配置文件(hadoop-env.sh和core-site.xml)会告诉datanode要把hdfs上的数据存储到NFS上的那个目录(hadoop.tmp.dir)。
二、计算节点上无存储空间
这种情况下最大的问题是HADOOP_HOME必须要设置到不同的路径下。要解释这个问题我们首先看一下hadoop启动的过程。
1.启动start-all.sh
里面内容为：
- bin=`dirname “$0”`
- bin=`cd “$bin”; pwd`
- . “$bin”/hadoop-config.sh
- # start dfs daemons
- “$bin”/start-dfs.sh –config $HADOOP_CONF_DIR
- # start mapred daemons
- “$bin”/start-mapred.sh –config $HADOOP_CONF_DIR
执行三个脚本hadoop-config.sh，start-dfs.sh ，start-mapred.sh
(1)hadoop-config.sh主要获得hadoop的配置文件路径
(2)start-dfs.sh 则启动namenode，datanodes和secondary namenode，其执行以下三行脚本：
- “$bin”/hadoop-daemon.sh –config $HADOOP_CONF_DIR start namenode $nameStartOpt
- “$bin”/hadoop-daemons.sh –config $HADOOP_CONF_DIR start datanode $dataStartOpt
- “$bin”/hadoop-daemons.sh –config $HADOOP_CONF_DIR –hosts masters start secondarynamenode
(3)start-mapred.sh则启动JobTracker和TaskTrackers，其执行一下两行脚本：
- “$bin”/hadoop-daemon.sh –config $HADOOP_CONF_DIR start jobtracker
- “$bin”/hadoop-daemons.sh –config $HADOOP_CONF_DIR start tasktracker
2.hadoop-daemon.sh和hadoop-daemons.sh
从上面流程可以得知：
hadoop-daemon.sh是启动单节点。
hadoop-daemons.sh则是用于启动slaves中其他多个节点。
3.slaves.sh的问题
对于计算节点没有存储的情况下启动hadoop-daemons.sh 在默认没修改的事情下会报错误：
- Cannot lock storage, directory is already locked
如http://www.mentby.com/hadoop/cannot-lock-storage-directory-is-already-locked.html提到的。
这是因为在启动hadoop-daemons.sh 的时候会把当前namenode的配置文件信息所在的路径告诉slaves上的datanode，然后多个datanode就会在跟namenode设置一样的路径下进行读写操作，产生了冲突。
从以下hadoop-daemons.sh的代码中可以看到：
- exec “$bin/slaves.sh” –config $HADOOP_CONF_DIR cd “$HADOOP_HOME” \; “$bin/hadoop-daemon.sh” –config $HADOOP_CONF_DIR “$@”
而在slaves.sh中：
- for slave in `cat “$HOSTLIST”
- sed “s/#.*$//;/^$/d”`; do
- ssh $HADOOP_SSH_OPTS $slave $“${@// /\\ }” \
- 2>&1
- sed “s/^/$slave: /” &
- if [ “$HADOOP_SLAVE_SLEEP” != “” ]; then
- sleep $HADOOP_SLAVE_SLEEP
- fi
- done
对于这个for循环启动其他的datanodes，它每次传进去的HADOOP_HOME都是namenode设置好的变量。
4.解决
既然知道问题的原因，解决起来也就很简单了。只需要在namenode去启动其他datanode时候告诉每个datanode其相应的HADOOP_HOME，然后去读取响应的配置文件即可。
可以在NFS上设置目录：
`– hadoop
— hadoop160
— hadoop161
— hadoop162
— hadoop163
— hadoop164
— hadoop165
— hadoop166
— hadoop167
— hadoop168
— hadoop169
— hadoop170
— hadoop171
— hadoop172
— hadoop173
— hadoop174
— hadoop175
— hadoop176
— hadoop177
— hadoop178
— hadoop179
— hadoop180
— hadoop181
— hadoop182
某个datanode的ip地址为192.168.6.160。则把它所有的相关的配置路径（如logs,tmp,conf,pids）都设置在该路径hadoop160的路径下。
若集群namenode地址为192.168.6.100，它在调用slaves.sh的时候会把hadoop100的路径给其他的datanodes，这时候传参数的时候只要根据slaves的ip改成相应的目录即可。内容改变如下：
- for slave in `cat “$HOSTLIST”|sed “s/#.*$//;/^$/d”`; do
- ip=`echo $slave | sed “s/^.*\.//”`
- cmd=`echo $“${@// /\\ }”|sed “s/hadoop100/hadoop$ip/g”`
- ssh $HADOOP_SSH_OPTS $slave $cmd 2>&1 |sed “s/^/$slave: /” &
- if [ “$HADOOP_SLAVE_SLEEP” != “” ]; then
- sleep $HADOOP_SLAVE_SLEEP
- fi
- done