Lustre文件系统简介 – 51CTO.COM

Lustre名字是由Linux和Clusters演化而来，是为解决海量存储问题而设计的全新文件系统。是下一代的集群文件系统，可支持10,000个节点，PB的存储量，100GB/S的传输速度，完美的安全性和可管理性。目前Lustre已经运用在一些领域，例如HP SFS产品等。继续阅读“Lustre文件系统简介 – 51CTO.COM”

分布式文件系统DFS详细解读 – 51CTO.COM

使用分布式文件系统DFS可以轻松定位和管理网络中的共享资源、使用统一的命名路径完成对所需资源院的访问、提供可靠的负载平衡、与FRS（文件复制服务）联合在多台服务器之间提供冗余、与windows权限集成以保证安全。继续阅读“分布式文件系统DFS详细解读 – 51CTO.COM”

分布式文件系统FastDFS架构剖析 – 51CTO.COM

FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及FastDFS、mogileFS、HDFS、TFS等类GoogleFS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。继续阅读“分布式文件系统FastDFS架构剖析 – 51CTO.COM”

面对海量文件比较各种分布式文件系统_云资讯_比特网

我现在有海量的数据文件(1000万个文件)需要存储，需要让其他计算机可以很容易地访问，数据无价，我还希望这个文件系统带冗余功能。继续阅读“面对海量文件比较各种分布式文件系统_云资讯_比特网”

几种分布式文件系统的性能对比 – TecAce – ITeye技术网站

以下是我从官方网站、论坛，以及网站等获取的信息。总体看来，MongoDB是一个新的宠儿，性能优越。但是用的人少，文档资料过于少。FastDFS是国人改编，目前有20多家企业在用，高效简洁（更少的资源投入，获得更好的效果）。MFS比较成熟，用的人多。但也有一些性能瓶颈的限制。继续阅读

各种分布式文件系统简介 – 赵磊的博客 – ITeye技术网站

常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。继续阅读“各种分布式文件系统简介 – 赵磊的博客 – ITeye技术网站”

[译] 基于Hadoop的视频流服务(Using Hadoop for Video Streaming) – CoCrash – 博客园

Using Hadoop for Video Streaming

基于Hadoop的视频流服务继续阅读“[译] 基于Hadoop的视频流服务(Using Hadoop for Video Streaming) – CoCrash – 博客园”

HDFS NFS Gateway – 陈振阳(Net) – 博客频道 – CSDN.NET

NFS Gateway支持NFSv3，允许HDFS作为客户端本地文件系统的一部分挂载在本地文件系统。继续阅读“HDFS NFS Gateway – 陈振阳(Net) – 博客频道 – CSDN.NET”

[测试] 试用Hadoop 2.2中的HDFS NFS – ZisZ – 博客园

Hadoop 2.2中正式启用了hdfs nfs功能，使得hdfs的通用性迈进了一大步。在公司让小朋友搭建了一下，然后我自己进行了一点简单的试验，有一点收获，记录在此。继续阅读“[测试] 试用Hadoop 2.2中的HDFS NFS – ZisZ – 博客园”

NFS服务对Hadoop（hdfs）集群影响测试(转) – ggjucheng – 博客园

$uname -a
Linux 10.**.**.15 2.6.32-220.17.1.tb619.el6.x86_64 #1 SMP Fri Jun 8 13:48:13CST 2012 x86_64 x86_64 x86_64 GNU/Linux

hadoop和hbase版本信息：继续阅读“NFS服务对Hadoop（hdfs）集群影响测试(转) – ggjucheng – 博客园”

【原创】生产环境下Hadoop大集群安装与配置+DNS+NFS – 大数据-ITPUB论坛-it168旗下专业技术社区

一 环境继续阅读“【原创】生产环境下Hadoop大集群安装与配置+DNS+NFS – 大数据-ITPUB论坛-it168旗下专业技术社区”

在NFS上的Hadoop配置 – lucktroy的专栏 – 博客频道 – CSDN.NET

初到美国这边的实验室，老板很爽快的给了个小集群，让我配置下Hadoop. 我很快就答应了. 继续阅读“在NFS上的Hadoop配置 – lucktroy的专栏 – 博客频道 – CSDN.NET”

使用NFS服务提高Hadoop 可靠性_服务器应用_Linux公社-Linux系统门户网站

众所周知 Hadoop是一个单点系统，即所谓的spof，所以元数据的保护就是重中之重。目前元数据写两份，分别是本地的磁盘，远程的磁盘。还有一个secondary namenode做冷备。写到远程的磁盘就需要的是NFS服务了。继续阅读“使用NFS服务提高Hadoop 可靠性_服务器应用_Linux公社-Linux系统门户网站”

Hadoop2.0 NFS方式的HA的配置_服务器应用_Linux公社-Linux系统门户网站

NFS的方式的HA的配置与启动，和QJM方式基本上是一样，唯一不同的地方就是active namenode和standby namenode共享edits文件的方式，QJM方式是采用journalnode来共享edits文件，而NFS方式则是采用NFS远程共享目录来共享edits文件。继续阅读“Hadoop2.0 NFS方式的HA的配置_服务器应用_Linux公社-Linux系统门户网站”

hadoop学习笔记之-NFS配置 – 我思，故我在！–My data life – 博客频道 – CSDN.NET

一、实验环境：

系统版本：继续阅读“hadoop学习笔记之-NFS配置 – 我思，故我在！–My data life – 博客频道 – CSDN.NET”

分布式文件系统NFS上搭建hadoop集群 – Some things on techology – ITeye技术网站

总的来说，hadoop并不适合搭建在NFS上。一来是NFS的存储成本过高，二来损失了hadoop原本在分布式上的“本地性”特点。

不过由于各种各样的原因，有时候需要在分布式文件系统NFS上搭建hadoop。分布式NFS这种架构主要是计算节点和存储节点的分离。计算节点带有少量的存储。在某些情况下甚至没有存储可以用，这是因为计算节点除了装系统的空间外，不给用户在计算节点上存储任何东西。继续阅读“分布式文件系统NFS上搭建hadoop集群 – Some things on techology – ITeye技术网站”

Hadoop分布式文件系统：架构和设计要点

原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html
一、前提和设计目标
1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。继续阅读“Hadoop分布式文件系统：架构和设计要点”

为Hadoop的namenode做NFS灾备步骤

这里我简单的描述下如何给Hadoop的namenode做NFS灾备（以ubuntu为例）

1.首先选定一台灾备机器作为NFS服务器继续阅读“为Hadoop的namenode做NFS灾备步骤”

linux – Getting “mount.nfs: mount system call failed” on mounting HDFS – Stack Overflow

down vote

favorite

I am trying to mount the HDFS file system as per the content in the URL http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html

But at the final mount statement, I am getting the mount.nfs: mount system call failed 继续阅读“linux – Getting “mount.nfs: mount system call failed” on mounting HDFS – Stack Overflow”

Openstack平台搭建之第一天基于RDO方式搭建 – Andy-xu的个人空间 – 开源中国社区

随着IT技术的不断发展以及平台费用搭建的昂贵，近些年来，响应国家可持续资源的利用的号召，IT领域也出现一些白炽化现象，即云计算的迅速推广。所谓云计算即在云端(互联网)进行的IT服务。那么按照美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。本篇将为大家讲解Havana Release 2013.11的all in one 安装.Openstack包是默认下载在本地的，因…因此在本篇将着重讲解在RHEL6.5系统上搭建Openstack…

继续阅读“Openstack平台搭建之第一天基于RDO方式搭建 – Andy-xu的个人空间 – 开源中国社区”