CodeClip

问题导读：

1.Reduce类主要有哪三个步骤？

2.Reduce的Copy都包含什么过程？

3.Sort主要做了哪些工作？
继续阅读“hadoop2提交到Yarn： Mapreduce执行过程reduce分析3-Hadoop2|YARN-about云开发”

问题导读：

1.hadoop哪些数据类型，是如何与Java数据类型对应的？

2.ApplicationMaster什么时候启动？

3.YarnChild进程什么时候产生？

4.如果在recuece的情况下，map任务完成暂总任务的多少百分比？

5.run的执行步骤是什么？

6.哪个方法来执行具体的map任务？

7.获取配置信息为哪个类？

8.TaskAttemptContextImpl还增加了什么信息？
继续阅读“hadoop2提交到Yarn： Mapreduce执行过程分析2-Hadoop2|YARN-about云开发”

1.为什么会产生Yarn？

2.Configuration类的作用是什么？

3.GenericOptionsParser类的作用是什么？

4.如何将命令行中的参数配置到变量conf中？

5.哪个方法会获得传入的参数？

6.如何在命令行指定reduce的个数？

7.默认情况map、reduce为几？

8.setJarByClass的作用是什么？

9.如果想在控制台打印job（maoreduce）当前的进度,需要设置哪个参数？

10.配置了哪个参数，在提交job的时候，会创建一个YARNRunner对象来进行任务的提交？

11.哪个类实现了读取yarn-site.xml、core-site.xml等配置文件中的配置属性的？

12.JobSubmitter类中的哪个方法实现了把job提交到集群？

13.DistributedCache在mapreduce中发挥了什么作用？

14.对每个输入文件进行split划分，是物理划分还是逻辑划分，他们有什么区别？

15.分片的大小有哪些因素来决定

16.分片是如何计算得来的？
继续阅读“hadoop2提交到Yarn： Mapreduce执行过程分析1-Hadoop2|YARN-about云开发”

Eclipse调用hadoop运行MR程序其实就是普通的java程序可以提交MR任务到集群执行而已。在Hadoop1中，只需指定jt(jobtracker)和fs(namenode)即可，一般如下:

Configuration conf = new Configuration();
conf.set(“mapred.job.tracker”, “192.168.128.138:9001”);
conf.set(“fs.default.name”,”192.168.128.138:9000″);

上面的代码在hadoop1中运行是ok的，完全可以使用java提交任务到集群运行。但是，hadoop2却是没有了jt，新增了yarn。这个要如何使用呢?最简单的想法，同样指定其配置，试试。 继续阅读“hadoop 2.2 集群 和eclipse 怎么配置_百度知道”

整个Hadoop是基于Java开发的，所以要开发Hadoop相应的程序就得用JAVA。在linux下开发JAVA还数eclipse方便。 继续阅读“Hadoop基础教程之搭建开发环境及编写Hello World – 程序园”

我们把hadoop下载、安装、运行起来，最后还执行了一个Hello world程序，看到了结果。现在我们就来解读一下这个Hello Word。

OK，我们先来看一下当时在命令行里输入的内容： 继续阅读“Hadoop基础教程之HelloWord – 程序园”

从前面的学习中，我们了解到了MapReduce整个过程需要经过以下几个步骤：

1.输入(input):将输入数据分成一个个split，并将split进一步拆成<key, value>。

2.映射(map)：根据输入的<key, value>进生处理，

3.合并(combiner)：合并中间相两同的key值。

4.分区(Partition)：将<key, value>分成N分，分别送到下一环节。

5.化简(Reduce)：将中间结果合并，得到最终结果

6.输出(output)：负责输入最终结果。

其中第3、4步又成洗牌(shuffle)过程。 继续阅读“Hadoop基础教程之高级编程 – 程序园”

利用MapReduce利器作开发，不论从思想上还是技能上都是新的体验。以下罗列下如何利用eclipse调试MR任务。

(本人环境：hadoop 1.0.2，部署在linux上，本地windows开发)

1、安装hadoop。

先在linux上安装好hadoop，为更接近线上环进，我的是安装成Cluster

注意要远程访问相关端口，conf/mapred-site.xml中localhost:9001中需要换成ip加端口。

sh bin/start-all.sh启动，先按文档命令行跑一下example的wordcount。

我安装好运行example遇到了XML解析的错(原因应该是${java.home}/lib/jaxp.properties没有设置，见:javax.xml.xpath.XPathFactory.newInstance(uri)的注释)，后来手动加了xalan-j_2.7.0.jar、xercesImpl-2.7.1.jar、xml-apis-2.7.1.jar、xmlenc-0.52.jar、serializer-2.7.1.jar几个包解决。

2、下载hadoop eclipse plugin (最新只有0.20.3，不过也能使用)，将jar放到eclipse/plugins下，启动eclipse

这个插件比较简陋，只有一个设置项:Window->Preferences->Hadoop Map/Reduce，设置Hadoop的安装路径，解压一份跟运行hadoop同版本的到本机并指向就行了(我的使用smb映射)

建ecplise工程，把WordCount的示例代码复制一份吧，有些hadoop相关的jar需要引用。

Run As->Run On Hadoop设置Map/Reduce Master的IP，端口为9000, DFS Master端口为9001

这样，不出意外的话就能在eclipse里运行Map/Reduce程序了。 继续阅读“通过eclipse调试MapReduce任务 — 其他 — IT技术博客大学习 — 共学习 共进步！”

步骤

修改mapred-site.xml文件，添加如下配置： 继续阅读“如何在eclipse上调试hadoop的笔记_百度知道”

note: 只在linux上面调试，windows下面会有脚本执行的问题，可能需要安装cygwin可以解决. 继续阅读“hadoop2.2.0 源码远程调试_王维_新浪博客”

1、将mapred-site.xml文件拷贝一份到项目中 继续阅读“eclipse debug调试mapreduce程序 – 蓝狐乐队的个人空间 – 开源中国社区”

继续研究hadoop，有童鞋问我，为啥不接着写hive的文章了，原因主要是时间不够，我对hive的研究基本结束，现在主要是hdfs和mapreduce，能写文章的时间也不多，只有周末才有时间写文章，所以最近的文章都是写hdfs和mapreduce。不过hive是建立在hdfs和mapreduce之上，研究好hdfs和mapreduce也是真正用好hive的前提。

今天的内容是mapreduce，经过这么长时间的学习，我对hadoop的相关技术理解更加深入了，这回我会尽全力讲解好mapreduce。 继续阅读“hadoop研究：mapreduce研究前的准备工作 – 夏天的森林 – 博客园”

必须在项目中手动添加MANIFEST.MF ，并写入如下内容

例如我们打包的jar为 Test.jar

Manifest-Version: 1.0
Main-Class: windows.VideoWindow
Class-Path: lib\org.eclipse.swt_3.3.0.v3346.jar lib\org.eclipse.swt.win32.win32.x86_3.3.0.v3346.jar

否则报错：
could not find main class. 继续阅读“eclipse中mapreduce程序编译打包出错的解决”