Hadoop分布式文件系统:架构和设计要点

原文:http://hadoop.apache.org/core/docs/current/hdfs_design.html
一、前提和设计目标
1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构目标。 继续阅读“Hadoop分布式文件系统:架构和设计要点”

linux – Getting “mount.nfs: mount system call failed” on mounting HDFS – Stack Overflow

2

down vote

favorite

I am trying to mount the HDFS file system as per the content in the URL http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html

But at the final mount statement, I am getting the mount.nfs: mount system call failed 继续阅读“linux – Getting “mount.nfs: mount system call failed” on mounting HDFS – Stack Overflow”

Openstack平台搭建之第一天 基于RDO方式搭建 – Andy-xu的个人空间 – 开源中国社区

随着IT技术的不断发展以及平台费用搭建的昂贵,近些年来,响应国家可持续资源的利用的号召,IT领域也出现一些白炽化现象,即云计算的迅速推广。所谓云计算即在云端(互联网)进行的IT服务。那么按照美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。本篇将为大家讲解Havana Release 2013.11的all in one 安装.Openstack包是默认下载在本地的,因…因此在本篇将着重讲解在RHEL6.5系统上搭建Openstack…

继续阅读“Openstack平台搭建之第一天 基于RDO方式搭建 – Andy-xu的个人空间 – 开源中国社区”

Change HostName in CentOS 7 / RHEL 7

After installing the CentOS 7 on my server, i tried to change host name by modifying the /etc/sysconfig/network; it did not take an effect of the modification. Even after multiple reboot of server, the host name remains localhost.localdomain. The procedure to change the host name in CentOS 7 is now totally different from the previous version, this guide will help you to setup the host name on CentOS 7 / RHEL 7. 继续阅读“Change HostName in CentOS 7 / RHEL 7”

CentOS 6 到 CentOS 7 的升级过程 – 技术翻译 – 开源中国社区

在红帽企业版7发布之后仅仅几周,centos7也发布了,并且包含了与红帽同样令人兴奋的功能。除了期待已久的systemd和当前热门的Docker,此次发布还使系统自动从版本6更新到版本7而不需要安装镜像文件成为可能。虽然升级还需要重启,因此不能算是一种live upgrade,但对于那些只能通过远程访问的服务器来说还是非常方便的。

红帽早已发布并且文档化了必要的更新工具。CentOS团队还来不及导入、测试和重新构建工具,但是开发人员早已经在做开始做了-而且他们提供了未测试的二进制文件。 继续阅读“CentOS 6 到 CentOS 7 的升级过程 – 技术翻译 – 开源中国社区”

解密百度大数据:百度是如何使用hadoop的,并且做了哪些改进? | 人人都是产品经理

引读:百度作为全球最大的中文搜索引擎公司,提供基于搜索引擎的各种产品,几乎覆盖了中文网络世界中所有的搜索需求,因此,百度对海量数据处理的要求是比较高的, 要在线下对数据进行分析,还要在规定的时间内处理完并反馈到平台上。百度在互联网领域的平台需求要通过性能较好的云平台进行处理了,Hadoop就是很好 的选择。 继续阅读“解密百度大数据:百度是如何使用hadoop的,并且做了哪些改进? | 人人都是产品经理”

百度基础架构部马如悦:我的Hadoop… – nuoline的专栏 – 博客频道 – CSDN.NET

马如悦:大家下午好,我是来自百度基础架构部高级工程师。我先自我介绍一下,我是咱们中国第一批用Hadoop,后来转向开源,从开始到现在一直用Hadoop,在这里说一下自己的体会可能会对大家有用。 继续阅读“百度基础架构部马如悦:我的Hadoop… – nuoline的专栏 – 博客频道 – CSDN.NET”

腾讯公司数据平台高级架构师 郭玮:TDW在Hadoop上的实践分享-CSDN.NET

摘要:腾讯是一个巨无霸公司,我们日常的生活中已与它产生了千丝万缕的联系,不可避免的也产生了海量的数据,如何正确而快速地处理这些海量数据,腾讯数据平台高级架构师郭玮通过发表主题为“TDW在Hadoop上的实践分享”的演讲,向大家分享了腾讯处理超大规模数据的经验。 继续阅读“腾讯公司数据平台高级架构师 郭玮:TDW在Hadoop上的实践分享-CSDN.NET”