Hadoop的本地库（Native Libraries）介绍 – 逖靖寒 – 博客园

Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。

目前在Hadoop中，本地库应用在文件的压缩上面：继续阅读“Hadoop的本地库（Native Libraries）介绍 – 逖靖寒 – 博客园”

Java运行报错：Unsupported major.minor version 51.0 – 旧书不厌百回读，熟读深思子自知 – ITeye技术网站

Java运行项目时报如下错误继续阅读“Java运行报错：Unsupported major.minor version 51.0 – 旧书不厌百回读，熟读深思子自知 – ITeye技术网站”

Hadoop 新 MapReduce 框架 Yarn 详解-IT168 技术开发专区

【IT168 技术】对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapReduce 框架图：继续阅读“Hadoop 新 MapReduce 框架 Yarn 详解-IT168 技术开发专区”

hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比-Hadoop2|YARN-about云开发

问题导读：

1.DataNode的http服务的端口、ipc服务的端口分别是哪个？

2.NameNode的http服务的端口、ipc服务的端口分别是哪个？

3.journalnode的http服务的端口、ipc服务的端口分别是哪个？

4.ResourceManager的http服务端口是哪个？

5.NodeManager的http服务端口是哪个？

6.Master的http服务的端口、ipc服务的端口分别是哪个？

7.3888是谁的端口，用来做什么？

扩展：

hadoop1.X对应端口是哪个？

9000、9001分别对应是hadoop2.X的那个端口？

继续阅读“hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比-Hadoop2|YARN-about云开发”

国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程 – 吴超沉思录 – 博客园

前言

hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。

hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，结构发生了很大变化，是hadoop未来使用的一个趋势。当然，配置也更加复杂，网上也没有一篇详细的教程来知道大家可以轻轻松松搭建起这个环境的。我应该算是第一个吧。继续阅读“国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程 – 吴超沉思录 – 博客园”

在hadoop2.3下运行WordCount程序-jonlina-ITPUB博客

1、如果hdfs没有启动，则在haoop主目录下启动：

./sbin/start-dfs.sh

./sbin/start-yarn.sh

2、查看状态，保证有数据节点在运行继续阅读“在hadoop2.3下运行WordCount程序-jonlina-ITPUB博客”

Hadoop-2.6.0环境搭建精简极致指导_服务器应用_Linux公社-Linux系统门户网站

1、软件下载

从官网http://apache.fayea.com/hadoop/common/ 下载hadoop

从Oracle官网下载继续阅读“Hadoop-2.6.0环境搭建精简极致指导_服务器应用_Linux公社-Linux系统门户网站”

用hadoop计算PI值 | MoonSky

一、计算PI值的方式与原理

百度一下，计算PI的方法还真不少。但在hadoop examples代码中的注释写的是：是采用 Quasi-Monte Carlo 算法来估算PI的值。继续阅读“用hadoop计算PI值 | MoonSky”

hadoop 集群安装及验证 – sducxh – ITeye技术网站

一、上传hadoop包到master机器/usr目录

版本：hadoop-1.2.1.tar.gz 继续阅读“hadoop 集群安装及验证 – sducxh – ITeye技术网站”

我是如何向老婆解释MapReduce的？ – 博客 – 伯乐在线

昨天，我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利，听众们都能够理解MapReduce的概念（根据他们的反馈）。我成功地向技术听众们（主要是Java程序员，一些Flex程序员和少数的测试人员）解释了MapReduce的概念，这让我感到兴奋。在所有辛勤的工作之后，我们在Xebia印度办公室享用了丰盛的晚餐，然后我径直回了家。继续阅读“我是如何向老婆解释MapReduce的？ – 博客 – 伯乐在线”

hadoop MapReduce实例解析 – 推酷

1、MapReduce理论简介

1.1 MapReduce编程模型

MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇总”。继续阅读“hadoop MapReduce实例解析 – 推酷”

hadoop2.X如何将namenode与SecondaryNameNode分开配置-Hadoop2|YARN-about云开发

问题导读

1.如何将namenode与SecondaryNameNode分开？

2.SecondaryNameNode单独配置，需要修改那些配置文件？

3.masters文件的作用是什么？
继续阅读“hadoop2.X如何将namenode与SecondaryNameNode分开配置-Hadoop2|YARN-about云开发”

CentOS下ant的安装教程

1.创建一个目录，用于安装ant。我们这里暂时在/usr目录下创建ant目录。继续阅读“CentOS下ant的安装教程”

一键安装Maven/Ant (使用Yum) – flyfoxs – ITeye技术网站

在Centos下面如何安装Maven,查了很多地方,都是: 下载,解压,复制….

今天偶然发现了一个通过Yum安装maven的办法,就2个命令: 继续阅读“一键安装Maven/Ant (使用Yum) – flyfoxs – ITeye技术网站”

Centos下ant的配置 – candy_girl的个人空间 – 51Testing软件测试网 51Testing软件测试网-中国软件测试人的精神家园

第一种，懒人的方式

# yum -y install ant

# ant -version

此种方法的弊端，ant不是最新版，下载ant环境的时候，还会重新下载和安装Java环境。优点：无须配置，一个命令搞定。继续阅读“Centos下ant的配置 – candy_girl的个人空间 – 51Testing软件测试网 51Testing软件测试网-中国软件测试人的精神家园”

Hadoop历史版本安装 | 粉丝日志

Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。继续阅读“Hadoop历史版本安装 | 粉丝日志”

中文字符集编码Unicode ,gb2312 , cp936 ,GBK，GB18030 – finallyly – 博客园

UTF-8的一个特别的好处是它与ISO- 8859-1完全兼容，可以表示世界上所有的字符，汉字通常用３个字节来表示。GB2312的code page是CP20936。GBK的code page是CP936 。GB18030支持的字符数更多。GB2312、GBK、GB18030均为双字节。继续阅读“中文字符集编码Unicode ,gb2312 , cp936 ,GBK，GB18030 – finallyly – 博客园”