使用命令行编译打包运行MapReduce程序 – WordCount – 博客园

对于如何编译WordCount.java,对于0.20 等旧版本版本的做法很常见,具体如下:

 

 javac -classpath /usr/local/hadoop/hadoop-<span style="color: #800080;">1.0</span>.<span style="color: #800080;">1</span>/hadoop-core-<span style="color: #800080;">1.0</span>.<span style="color: #800080;">1</span>.jar WordCount.java

 

但较新的 2.X 版本中,已经没有 hadoop-core*.jar 这个文件,因此编辑和打包自己的MapReduce程序与旧版本有所不同。

本文以 Hadoop 2.6环境下的WordCount实例来介绍 2.x 版本中如何编辑自己的MapReduce程序。 继续阅读“使用命令行编译打包运行MapReduce程序 – WordCount – 博客园”

Hadoop教程之编写HelloWorld(2) – 程序园

前面我们写了一个Hadoop程序,并让它跑起来了。但想想不对啊,Hadoop不是有两块功能么,DFS和MapReduce。没错,上一节我们写了一个MapReduce的HelloWorld程序,那这一节,我们就也学一学DFS程序的编写。

DFS 是什么,之前已经了解过,它是一个分布式文件存储系统。不管是远程或本地的文件系统,其实从接口上讲,应该是一至的,不然很难处理。同时在第2节的最后, 我们列出了很多一些DFS的操作命令,仔细看一下,这些命令其实跟linux中的文件操作命令很相似,所以说,对于分布式文件系统,我们完全可以用本地文 件的方式来理解。 继续阅读“Hadoop教程之编写HelloWorld(2) – 程序园”

在windows 64位系统上编译hadoop2.7.1成功经验分享

根据官方的build文件说明,按照要求一步步做下去,应该是没问题的,但每个人计算机软硬件环境不同,可能会有出入,本文针对我个人遇到的问题进行说明,可能有些问题你遇不到,也可能你遇到的问题我没有遇到。届时各位还需具体问题具体分析。 继续阅读“在windows 64位系统上编译hadoop2.7.1成功经验分享”

Hadoop源代码在Windows下面的编译 – 推酷

这篇文章对于我在windows 64位系统下编译hadoop2.7.1很有帮助,虽然最终编译到hadoop-common之后就失败和跳过了,但hadoop-common编译出来了,和官方原包大小相差几十字节,不过能用,蛮好,以后有时间再继续研究后面的为何不成功吧。 继续阅读“Hadoop源代码在Windows下面的编译 – 推酷”

Java创建hdfs文件实例-大数据(hadoop系列)学习-about云开发

10个实例,已经非常全面,而且还讲解了hdfs写入文件和读取文件的内部实现原理。非常好的一篇文章。
除了有一个读取HDFS某个目录下的所有文件的代码不全,其它都很完整。不全的那个我已经补上了。

//读取HDFS某个目录下的所有文件
        Path fpath1 = new Path("/");
        //fs.getPath(fpath1);
        FileStatus[] status = fs.listStatus(fpath1);
        for (FileStatus file : status) {
            System.out.println(file.getPath().getName());
        }

继续阅读“Java创建hdfs文件实例-大数据(hadoop系列)学习-about云开发”

为什么是刘强东 – 国内 – 南都周刊

“每个人都像沙漠里的一粒沙子。京东过去十几年来取得了很大的成功,并不是我有什么特别之处,我只是中国千千万万个普通人的一员,只是我比较幸运一点而已。” 刘强东说。然而,中关村的电脑摊贩多如牛毛,幸运的天平缘何向刘强东的京东倾斜? 继续阅读“为什么是刘强东 – 国内 – 南都周刊”

android 中管理短信 – Gang.Wang – 博客园

为了看代码方便,一边在网上google资料,一边看Android java 源代码。

偶然发现了一个类MmsSmsDatabaseHelper.java,原来android将所有的短信信息都存入了mmssms.db中。

公开的SDK中没有这个类,不能直接使用。于是自己写了一个SQLiteOpenHelper,但是查询的时候发生SQL异常。

看来不能为所欲为了,不过据网上资料介绍可以拷贝db文件来实现短信数据备份。

既然每个db跟package名相关,建立了一个package为com.android.providers.telephony的工程去试一试,看看能不能成功。

结果输出Please execute ‘adb uninstall com.android.providers.telephony’ in a shell,android的安全做得很强大啊。 继续阅读“android 中管理短信 – Gang.Wang – 博客园”

HDFS API文件上传,fs.default.name配置的关键性 – CodeWeblog.com

综上所述:
无论我们是在代码中对”fs.default.name”进行配置,还是直接拷贝core-site.xml和hdfs-site.xml到当前工程下,最终我们的目的都是要实现对fs.default.name的配置。
只有对fs.default.name成功配置后,我们才能成功上传文件到远程客户端。
java中可以这样设置
conf.set(“fs.default.name”, “hdfs://master:9000”);
conf.set(“mapred.job.tracker”, “master:9001”);
或者拷贝core-site.xml和hdfs-site.xml到当前工程下。
继续阅读“HDFS API文件上传,fs.default.name配置的关键性 – CodeWeblog.com”

安装Windows SDK7.1时发生的一个错误(附解决办法) – HEVC_CJL的专栏 – 博客频道 – CSDN.NET

A problem occurred while installing selected Windows SDK components.

Installation of theMicrosoft Windows SDK for Windows 7product has reported the following error: Please refer to Samples\Setup\HTML\ConfigDetails.htm document for further information.

Please attempt to resolve the problem and then start Windows SDK setup again. If you continue to have problems with this issue, please visit the SDK team support page at

http://go.microsoft.com/fwlink/?LinkId=130245.

Click the View Log button to review the installation log.

To exit, click Finish.

解决办法: 继续阅读“安装Windows SDK7.1时发生的一个错误(附解决办法) – HEVC_CJL的专栏 – 博客频道 – CSDN.NET”

从高版本JDK换成低版本JDK报错Unsupported major.minor version 52.0_neolone_新浪博客

java.lang.UnsupportedClassVersionError: PR/Sort

: Unsupported major.minor version 52.0这个错误是由于高版本的java

project使用了低版本的来运行。

 
我出现这个情况是我把Properties中java build

path–>Libraries中的JVM8换成JVM7

 
之后运行就报错了
 
解决方法:

继续阅读“从高版本JDK换成低版本JDK报错Unsupported major.minor version 52.0_neolone_新浪博客”