分类： 大数据、数据挖掘、云计算、机器学习

根据官方的build文件说明，按照要求一步步做下去，应该是没问题的，但每个人计算机软硬件环境不同，可能会有出入，本文针对我个人遇到的问题进行说明，可能有些问题你遇不到，也可能你遇到的问题我没有遇到。届时各位还需具体问题具体分析。 继续阅读“在windows 64位系统上编译hadoop2.7.1成功经验分享”

继续阅读“protobuf-2.5.0.tar.gz的下载与安装 – 推酷”

这篇文章对于我在windows 64位系统下编译hadoop2.7.1很有帮助，虽然最终编译到hadoop-common之后就失败和跳过了，但hadoop-common编译出来了，和官方原包大小相差几十字节，不过能用，蛮好，以后有时间再继续研究后面的为何不成功吧。 继续阅读“Hadoop源代码在Windows下面的编译 – 推酷”

10个实例，已经非常全面，而且还讲解了hdfs写入文件和读取文件的内部实现原理。非常好的一篇文章。
除了有一个读取HDFS某个目录下的所有文件的代码不全，其它都很完整。不全的那个我已经补上了。

//读取HDFS某个目录下的所有文件
        Path fpath1 = new Path("/");
        //fs.getPath(fpath1);
        FileStatus[] status = fs.listStatus(fpath1);
        for (FileStatus file : status) {
            System.out.println(file.getPath().getName());
        }

继续阅读“Java创建hdfs文件实例-大数据（hadoop系列）学习-about云开发”

全是代码，也比较简单，直接进去看吧，转载没排版，也可以去原地址看，地址在最下面
继续阅读“Java API 读取HDFS目录下的所有文件 – JAVA编程语言程序开发技术文章 – 红黑联盟”

你是把hadoop-maven-plugins导入了Eclipse？貌似不应该这样哦~

首先，使用以下命令安装Elicpse插件hadoop-maven-plugins：
$ cd ${HADOOP_HOME}/hadoop-maven-plugins
$ mvn install
然后生成Eclipse工程文件：
$ cd ${HADOOP_HOME}
$ mvn eclipse:eclipse -DskipTests
最后在Eclipse中按照以下流程导入源代码：“File” → “Import”→ “Existing Projects into Workspace” 继续阅读“hadoop 2.2.0 导入eclipse 有错误_百度知道”

继续阅读“hadoop2.6在win7上的编译-报错处理-Hadoop2|YARN-about云开发”

Good news for Hadoop developers who want to use Microsoft Windows OS x64 for their development activities. Finally Apache Hadoop 2.2.0 release officially supports for running Hadoop on Microsoft Windows as well. But the bin distribution of Apache Hadoop 2.2.0 release does not contain some windows native components (like winutils.exe, hadoop.dll etc). As a result, if we try to run Hadoop in windows, we’ll encounter ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path.

In this article, I’ll describe how to build bin native distribution from source codes, install, configure and run Hadoop in Windows Platform. 继续阅读“Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS x64 – SrcCodes”

所需工具

1.Windows 7 32 Bit OS(你懂的)

2.Apache Hadoop 2.2.0-bin(hadoop-2.2.0.tar.gz)

3.Apache Hadoop 2.2.0-src(hadoop-2.2.0-src.tar.gz)

3.JDK 1.7

4.Maven 3.2.1(apache-maven-3.2.1-bin.zip)

5.Protocol Buffers 2.5.0

6.Unix command-line tool Cygwin(Setup-x86.exe)

7.Microsoft Windows SDK v7.1

Apache Hadoop 2.X推荐运行环境是64Bit机器，因为实际运行过程中要超过4GB内存嘛！32Bit适合个人开发调试学习使用。 继续阅读“Hadoop：Windows 7 32 Bit 编译与运行 – SmartBooks – 博客园”

当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库？答案是什么，如果我们使用的传统数据库，肯定留有多余的字段，10个不行，20个，但是这个严重影响了质量。并且如果面对大数据库，pt级别的数据，这种浪费更是严重的，那么我们该使用是什么数据库？hbase数个不错的选择，那么我们对于hbase还存在下列问题：

1.Column Family代表什么？

2.HBase通过row和column确定一份数据，这份数据的值可能有多个版本，为什么会存在多个版本？

3.查询的时候会显示那个版本？

4.它们的存储类型是什么？

5.tableName是什么类型？

6.RowKey 和 ColumnName是什么类型？

7.Timestamp 是什么类型？

8.value 是什么类型？ 继续阅读“hbase常识及habse适合什么场景-Hbase-about云开发”

问题导读：

1、HBase0.98 与 HBase1.0接口差异是什么？

2、HBase 与 HydraHBase 有何不同？ 继续阅读“Apache HBase 2015年发展回顾与未来展望-Hbase-about云开发”

问题导读：

1.如何搭建hbase开发环境？

2.HTableDescriptor初始化产生了那些变化？

3.eclipse如何连接hbase集群？

hbase开发环境搭建与hadoop开发环境搭建差不多的。这里是以win7为例。 继续阅读“hbase开发环境搭建及运行hbase小实例（HBase 0.98.3新api）-Hbase-about云开发”

hadoop 2.7.1 hbase 1.0.1 hmaster启动起来之后几秒钟就自动关闭，查看hbase1.0.1/logs/*master*.log发现报org.apache.hadoop.hbase.TableExistsException: hbase:namespace异常。经过摸索，解决方案如下：

继续阅读“TableExistsException: hbase:namespace 异常解决办法”

Hbase 集群部署启动后几秒自动退出异常处理，

1.hadoop 与 hbase 版本不兼容，会导致此异常。

2.log 为 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常，

很可能是更换了Hbase的版本过后zookeeper还保留着上一次的Hbase设置，所以造成了冲突。

解决方案：(这里作者就出现过这个错误 搞了好几个小时才定位到是这个错误) 继续阅读“Hbase:namespace异常处理，hbase异常处理_云计算 | 帮客之家”

在配置hadoop的时候，很容易遇到以上错误，遇到以上问题的时候，一般可以通过以下几种方法解决。 继续阅读“配置Hadoop集群：java.net.NoRouteToHostException: No route to host问题的解决 – 小程故事多 – ITeye技术网站”

下载解压Maven包

增加两个环境变量

Path :  解压目录/bin

M2_HOME:  解压目录

验证安装:

开始->运行->cmd进入命令行窗口  Mvn -v 继续阅读“Maven在Eclipse的基本使用_蒋艳华_新浪博客”

将上面代码打包后 放在hadoop上通过执行：bin/hadoop jar XX.jar 包.类执行的时候，报错如下：Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
错误原因：  hadoop2 节点无法加载到hbase包

处理方式：将hbase jar拷贝到hadoop 节点上，比如 /usr/local/hbaselib

然后在 hadooop/etc/hadoop/hadoop-env.sh中 增加如下：

    for f in /usr/local/hbaselib/*.jar; do  
      if [ "$HADOOP_CLASSPATH" ]; then  
        export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f  
      else  
        export HADOOP_CLASSPATH=$f  
      fi  
    done

最后 可以在 hadoop/bin/mapred classpath下 查看是否已经将hbase lib 加载进来。 继续阅读“hbase java操作代码简介和NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguratio – 后知后觉的it路 – ITeye技术网站”

插件

话说Hadoop 1.0.2/src/contrib/eclipse-plugin只有插件的源代码，这里给出一个我打包好的对应的Eclipse插件： 继续阅读“[转]Eclipse中远程调试Hadoop – ppKevin – 博客园”

情景一：

当在win7下面的eclipse装好插件，首次运行M/R程序的时候，想把文件从win7下面的本地文件传到HDFS文件系统上面：（点击Upload files to DFS 或者其他） 继续阅读“Permission denied: win7下面eclipse上传本地文件到DFS && 运行M/R程序时出现的同样的错误解决方法 – 推酷”