Java创建hdfs文件实例-大数据(hadoop系列)学习-about云开发

10个实例,已经非常全面,而且还讲解了hdfs写入文件和读取文件的内部实现原理。非常好的一篇文章。
除了有一个读取HDFS某个目录下的所有文件的代码不全,其它都很完整。不全的那个我已经补上了。

//读取HDFS某个目录下的所有文件
        Path fpath1 = new Path("/");
        //fs.getPath(fpath1);
        FileStatus[] status = fs.listStatus(fpath1);
        for (FileStatus file : status) {
            System.out.println(file.getPath().getName());
        }

继续阅读“Java创建hdfs文件实例-大数据(hadoop系列)学习-about云开发”

为什么是刘强东 – 国内 – 南都周刊

“每个人都像沙漠里的一粒沙子。京东过去十几年来取得了很大的成功,并不是我有什么特别之处,我只是中国千千万万个普通人的一员,只是我比较幸运一点而已。” 刘强东说。然而,中关村的电脑摊贩多如牛毛,幸运的天平缘何向刘强东的京东倾斜? 继续阅读“为什么是刘强东 – 国内 – 南都周刊”

android 中管理短信 – Gang.Wang – 博客园

为了看代码方便,一边在网上google资料,一边看Android java 源代码。

偶然发现了一个类MmsSmsDatabaseHelper.java,原来android将所有的短信信息都存入了mmssms.db中。

公开的SDK中没有这个类,不能直接使用。于是自己写了一个SQLiteOpenHelper,但是查询的时候发生SQL异常。

看来不能为所欲为了,不过据网上资料介绍可以拷贝db文件来实现短信数据备份。

既然每个db跟package名相关,建立了一个package为com.android.providers.telephony的工程去试一试,看看能不能成功。

结果输出Please execute ‘adb uninstall com.android.providers.telephony’ in a shell,android的安全做得很强大啊。 继续阅读“android 中管理短信 – Gang.Wang – 博客园”

HDFS API文件上传,fs.default.name配置的关键性 – CodeWeblog.com

综上所述:
无论我们是在代码中对”fs.default.name”进行配置,还是直接拷贝core-site.xml和hdfs-site.xml到当前工程下,最终我们的目的都是要实现对fs.default.name的配置。
只有对fs.default.name成功配置后,我们才能成功上传文件到远程客户端。
java中可以这样设置
conf.set(“fs.default.name”, “hdfs://master:9000”);
conf.set(“mapred.job.tracker”, “master:9001”);
或者拷贝core-site.xml和hdfs-site.xml到当前工程下。
继续阅读“HDFS API文件上传,fs.default.name配置的关键性 – CodeWeblog.com”

安装Windows SDK7.1时发生的一个错误(附解决办法) – HEVC_CJL的专栏 – 博客频道 – CSDN.NET

A problem occurred while installing selected Windows SDK components.

Installation of theMicrosoft Windows SDK for Windows 7product has reported the following error: Please refer to Samples\Setup\HTML\ConfigDetails.htm document for further information.

Please attempt to resolve the problem and then start Windows SDK setup again. If you continue to have problems with this issue, please visit the SDK team support page at

http://go.microsoft.com/fwlink/?LinkId=130245.

Click the View Log button to review the installation log.

To exit, click Finish.

解决办法: 继续阅读“安装Windows SDK7.1时发生的一个错误(附解决办法) – HEVC_CJL的专栏 – 博客频道 – CSDN.NET”

从高版本JDK换成低版本JDK报错Unsupported major.minor version 52.0_neolone_新浪博客

java.lang.UnsupportedClassVersionError: PR/Sort

: Unsupported major.minor version 52.0这个错误是由于高版本的java

project使用了低版本的来运行。

 
我出现这个情况是我把Properties中java build

path–>Libraries中的JVM8换成JVM7

 
之后运行就报错了
 
解决方法:

继续阅读“从高版本JDK换成低版本JDK报错Unsupported major.minor version 52.0_neolone_新浪博客”

hadoop 2.2.0 导入eclipse 有错误_百度知道

你是把hadoop-maven-plugins导入了Eclipse?貌似不应该这样哦~

首先,使用以下命令安装Elicpse插件hadoop-maven-plugins:
$ cd ${HADOOP_HOME}/hadoop-maven-plugins
$ mvn install
然后生成Eclipse工程文件:
$ cd ${HADOOP_HOME}
$ mvn eclipse:eclipse -DskipTests
最后在Eclipse中按照以下流程导入源代码:“File” → “Import”→ “Existing Projects into Workspace” 继续阅读“hadoop 2.2.0 导入eclipse 有错误_百度知道”

hadoop2.6在win7上的编译-报错处理-Hadoop2|YARN-about云开发

编译前准备,需要安装64位的jdkprotoc(别小看这个,非常重要,我在此耽误好多时候,具体见后面的error)
1、   下载hadoop源码(hadoop-2.6.0-src.tar.gz)并解压:
如解压到:D:\app\workspace\hadoop\hadoop-2.6.0-src
Cmd进入到dos命令方式
Cd /d D:\app\workspace\hadoop\hadoop-2.6.0-src
2、   编译:
Cd  hadoop-maven-plugins
hadoop-maven-plugins
cd ..
mvn eclipse:eclipse -DskipTests
3、   报错信息

继续阅读“hadoop2.6在win7上的编译-报错处理-Hadoop2|YARN-about云开发”

Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS x64 – SrcCodes

Good news for Hadoop developers who want to use Microsoft Windows OS x64 for their development activities. Finally Apache Hadoop 2.2.0 release officially supports for running Hadoop on Microsoft Windows as well. But the bin distribution of Apache Hadoop 2.2.0 release does not contain some windows native components (like winutils.exe, hadoop.dll etc). As a result, if we try to run Hadoop in windows, we’ll encounter ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path.

In this article, I’ll describe how to build bin native distribution from source codes, install, configure and run Hadoop in Windows Platform. 继续阅读“Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS x64 – SrcCodes”

Hadoop:Windows 7 32 Bit 编译与运行 – SmartBooks – 博客园

所需工具

1.Windows 7 32 Bit OS(你懂的)

2.Apache Hadoop 2.2.0-bin(hadoop-2.2.0.tar.gz)

3.Apache Hadoop 2.2.0-src(hadoop-2.2.0-src.tar.gz)

3.JDK 1.7

4.Maven 3.2.1(apache-maven-3.2.1-bin.zip)

5.Protocol Buffers 2.5.0

6.Unix command-line tool Cygwin(Setup-x86.exe)

7.Microsoft Windows SDK v7.1

Apache Hadoop 2.X推荐运行环境是64Bit机器,因为实际运行过程中要超过4GB内存嘛!32Bit适合个人开发调试学习使用。 继续阅读“Hadoop:Windows 7 32 Bit 编译与运行 – SmartBooks – 博客园”

解决运行Eclipse出错:Failed to load the JNI shared library

编译调试hadoop2.7.1,将jdk1.8卸载,安装jdk1.7,运行Eclipse出错:Failed to load the JNI shared library

原因和解决办法:eclipse是32位的,系统是64位的,所以我装的64位jdk1.7,卸掉之后安装32位jdk1.7,eclipse顺利启动。

经验总结:eclipse的版本和jdk的版本要对应,要么都是32位,要么都是64位。

还有一个原因有可能是java相应目录下没有jvm.dll这个文件,那你需要去看看这个文件到底在不在,或者环境变量是否设置正确并生效(改变java home环境变量可能需要重启)。