分类： linux

Hadoop的本地库（Native Libraries）介绍 – 逖靖寒 – 博客园

Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。

目前在Hadoop中，本地库应用在文件的压缩上面： 继续阅读“Hadoop的本地库（Native Libraries）介绍 – 逖靖寒 – 博客园”

Hadoop 新 MapReduce 框架 Yarn 详解-IT168 技术开发专区

【IT168 技术】对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapReduce 框架图： 继续阅读“Hadoop 新 MapReduce 框架 Yarn 详解-IT168 技术开发专区”

hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比-Hadoop2|YARN-about云开发

问题导读：
1.DataNode的http服务的端口、ipc服务的端口分别是哪个？
2.NameNode的http服务的端口、ipc服务的端口分别是哪个？
3.journalnode的http服务的端口、ipc服务的端口分别是哪个？
4.ResourceManager的http服务端口是哪个？
5.NodeManager的http服务端口是哪个？
6.Master的http服务的端口、ipc服务的端口分别是哪个？
7.3888是谁的端口，用来做什么？
扩展：
hadoop1.X对应端口是哪个？
9000、9001分别对应是hadoop2.X的那个端口？

  继续阅读“hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比-Hadoop2|YARN-about云开发”

国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程 – 吴超沉思录 – 博客园

前言

 

    hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。

    hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，结构发生了很大变化，是hadoop未来使用的一个趋势。当然，配置也更加复杂，网上也没有一篇详细的教程来知道大家可以轻轻松松搭建起这个环境的。我应该算是第一个吧。 继续阅读“国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程 – 吴超沉思录 – 博客园”

我是如何向老婆解释MapReduce的？ – 博客 – 伯乐在线

昨天，我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利，听众们都能够理解MapReduce的概念（根据他们的反馈）。我成功地向技术听众们（主要是Java程序员，一些Flex程序员和少数的测试人员）解释了MapReduce的概念，这让我感到兴奋。在所有辛勤的工作之后，我们在Xebia印度办公室享用了丰盛的晚餐，然后我径直回了家。 继续阅读“我是如何向老婆解释MapReduce的？ – 博客 – 伯乐在线”

Centos下ant的配置 – candy_girl的个人空间 – 51Testing软件测试网 51Testing软件测试网-中国软件测试人的精神家园

第一种，懒人的方式

# yum -y install ant

# ant -version

此种方法的弊端，ant不是最新版， 下载ant环境的时候，还会重新下载和安装Java环境。优点：无须配置，一个命令搞定。 继续阅读“Centos下ant的配置 – candy_girl的个人空间 – 51Testing软件测试网 51Testing软件测试网-中国软件测试人的精神家园”

中文字符集编码Unicode ,gb2312 , cp936 ,GBK，GB18030 – finallyly – 博客园

UTF-8的一个特别的好处是它与ISO- 8859-1完全兼容，可以表示世界上所有的字符，汉字通常用３个字节来表示。GB2312的code page是CP20936。GBK的code page是CP936 。GB18030支持的字符数更多。GB2312、GBK、GB18030均为双字节。 继续阅读“中文字符集编码Unicode ,gb2312 , cp936 ,GBK，GB18030 – finallyly – 博客园”

SSh无密码登陆不成功的问题(跟Home目录权限相关) – Linux操作系统：Ubuntu_Centos_Debian – 红黑联盟

SSh无密码登陆不成功的问题(跟Home目录权限相关)
由于采用Rocks集群，所以对于Home目录权限的设置就有一些奇怪
今天按照一些Hadoop教程更改了.ssh authorizedkey的权限，发现还是不行
最后用查看家目录的所有者是root，果断chown命令更改  www.2cto.com
所有者为需要登录的账户，之后更改权限为700,就OK了.

来源URL：http://www.2cto.com/os/201212/177348.html

解决ssh连接慢(有时候等半分钟才出现密码输入提示)的方法 – 很多东西学会了可以不用记录的，记录的都是寂寞罢了 – 博客频道 – CSDN.NET

经常通过ssh 或者 scp 连接一堆远程主机，同样是 Linux 主机，其中一些创建 ssh 连接速度特别慢，连接建立之后执行操作速度却很正常，看来应该不是网络原因。解决的方法是通过ssh 的-v参数来查看调试信息的：

用 ssh -v 来查看详细的连接建立过程，马上用一台建立连接很慢的主机试了一下，在一大堆输出信息中发现在这里停留最久 继续阅读“解决ssh连接慢(有时候等半分钟才出现密码输入提示)的方法 – 很多东西学会了可以不用记录的，记录的都是寂寞罢了 – 博客频道 – CSDN.NET”