月度归档： 2015 年 7 月

Hadoop 新 MapReduce 框架 Yarn 详解-IT168 技术开发专区

【IT168 技术】对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapReduce 框架图： 继续阅读“Hadoop 新 MapReduce 框架 Yarn 详解-IT168 技术开发专区”

hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比-Hadoop2|YARN-about云开发

问题导读：
1.DataNode的http服务的端口、ipc服务的端口分别是哪个？
2.NameNode的http服务的端口、ipc服务的端口分别是哪个？
3.journalnode的http服务的端口、ipc服务的端口分别是哪个？
4.ResourceManager的http服务端口是哪个？
5.NodeManager的http服务端口是哪个？
6.Master的http服务的端口、ipc服务的端口分别是哪个？
7.3888是谁的端口，用来做什么？
扩展：
hadoop1.X对应端口是哪个？
9000、9001分别对应是hadoop2.X的那个端口？

  继续阅读“hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比-Hadoop2|YARN-about云开发”

国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程 – 吴超沉思录 – 博客园

前言

 

    hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。

    hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，结构发生了很大变化，是hadoop未来使用的一个趋势。当然，配置也更加复杂，网上也没有一篇详细的教程来知道大家可以轻轻松松搭建起这个环境的。我应该算是第一个吧。 继续阅读“国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程 – 吴超沉思录 – 博客园”

我是如何向老婆解释MapReduce的？ – 博客 – 伯乐在线

昨天，我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利，听众们都能够理解MapReduce的概念（根据他们的反馈）。我成功地向技术听众们（主要是Java程序员，一些Flex程序员和少数的测试人员）解释了MapReduce的概念，这让我感到兴奋。在所有辛勤的工作之后，我们在Xebia印度办公室享用了丰盛的晚餐，然后我径直回了家。 继续阅读“我是如何向老婆解释MapReduce的？ – 博客 – 伯乐在线”

hadoop MapReduce实例解析 – 推酷

1、MapReduce理论简介

 

1.1 MapReduce编程模型

MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇总”。 继续阅读“hadoop MapReduce实例解析 – 推酷”

Centos下ant的配置 – candy_girl的个人空间 – 51Testing软件测试网 51Testing软件测试网-中国软件测试人的精神家园

第一种，懒人的方式

# yum -y install ant

# ant -version

此种方法的弊端，ant不是最新版， 下载ant环境的时候，还会重新下载和安装Java环境。优点：无须配置，一个命令搞定。 继续阅读“Centos下ant的配置 – candy_girl的个人空间 – 51Testing软件测试网 51Testing软件测试网-中国软件测试人的精神家园”

中文字符集编码Unicode ,gb2312 , cp936 ,GBK，GB18030 – finallyly – 博客园

UTF-8的一个特别的好处是它与ISO- 8859-1完全兼容，可以表示世界上所有的字符，汉字通常用３个字节来表示。GB2312的code page是CP20936。GBK的code page是CP936 。GB18030支持的字符数更多。GB2312、GBK、GB18030均为双字节。 继续阅读“中文字符集编码Unicode ,gb2312 , cp936 ,GBK，GB18030 – finallyly – 博客园”

SSh无密码登陆不成功的问题(跟Home目录权限相关) – Linux操作系统：Ubuntu_Centos_Debian – 红黑联盟

SSh无密码登陆不成功的问题(跟Home目录权限相关)
由于采用Rocks集群，所以对于Home目录权限的设置就有一些奇怪
今天按照一些Hadoop教程更改了.ssh authorizedkey的权限，发现还是不行
最后用查看家目录的所有者是root，果断chown命令更改  www.2cto.com
所有者为需要登录的账户，之后更改权限为700,就OK了.

来源URL：http://www.2cto.com/os/201212/177348.html

解决ssh连接慢(有时候等半分钟才出现密码输入提示)的方法 – 很多东西学会了可以不用记录的，记录的都是寂寞罢了 – 博客频道 – CSDN.NET

经常通过ssh 或者 scp 连接一堆远程主机，同样是 Linux 主机，其中一些创建 ssh 连接速度特别慢，连接建立之后执行操作速度却很正常，看来应该不是网络原因。解决的方法是通过ssh 的-v参数来查看调试信息的：

用 ssh -v 来查看详细的连接建立过程，马上用一台建立连接很慢的主机试了一下，在一大堆输出信息中发现在这里停留最久 继续阅读“解决ssh连接慢(有时候等半分钟才出现密码输入提示)的方法 – 很多东西学会了可以不用记录的，记录的都是寂寞罢了 – 博客频道 – CSDN.NET”

普通用户 ssh 密钥登录失败的问题，困惑了很久 – SegmentFault

生成的key应该是没有问题，因为我把生成的公钥写到到/root/.ssh/authorized_keys里面，然后执行ssh root@xxx 能够直接登陆。

但是换成普通用户则就出现了问题。

现在的情况：
/home/test/.ssh 权限700
/home/test/.ssh/authorized_keys 权限600

也执行了chown -R test:test /home/test/.ssh

/etc/ssh/sshd_config里面也开启了登陆认证 继续阅读“普通用户 ssh 密钥登录失败的问题，困惑了很久 – SegmentFault”