hadoop 2.2.0 导入eclipse 有错误_百度知道

你是把hadoop-maven-plugins导入了Eclipse?貌似不应该这样哦~

首先,使用以下命令安装Elicpse插件hadoop-maven-plugins:
$ cd ${HADOOP_HOME}/hadoop-maven-plugins
$ mvn install
然后生成Eclipse工程文件:
$ cd ${HADOOP_HOME}
$ mvn eclipse:eclipse -DskipTests
最后在Eclipse中按照以下流程导入源代码:“File” → “Import”→ “Existing Projects into Workspace” 继续阅读“hadoop 2.2.0 导入eclipse 有错误_百度知道”

hadoop2.6在win7上的编译-报错处理-Hadoop2|YARN-about云开发

编译前准备,需要安装64位的jdkprotoc(别小看这个,非常重要,我在此耽误好多时候,具体见后面的error)
1、   下载hadoop源码(hadoop-2.6.0-src.tar.gz)并解压:
如解压到:D:\app\workspace\hadoop\hadoop-2.6.0-src
Cmd进入到dos命令方式
Cd /d D:\app\workspace\hadoop\hadoop-2.6.0-src
2、   编译:
Cd  hadoop-maven-plugins
hadoop-maven-plugins
cd ..
mvn eclipse:eclipse -DskipTests
3、   报错信息

继续阅读“hadoop2.6在win7上的编译-报错处理-Hadoop2|YARN-about云开发”

Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS x64 – SrcCodes

Good news for Hadoop developers who want to use Microsoft Windows OS x64 for their development activities. Finally Apache Hadoop 2.2.0 release officially supports for running Hadoop on Microsoft Windows as well. But the bin distribution of Apache Hadoop 2.2.0 release does not contain some windows native components (like winutils.exe, hadoop.dll etc). As a result, if we try to run Hadoop in windows, we’ll encounter ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path.

In this article, I’ll describe how to build bin native distribution from source codes, install, configure and run Hadoop in Windows Platform. 继续阅读“Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS x64 – SrcCodes”

Hadoop:Windows 7 32 Bit 编译与运行 – SmartBooks – 博客园

所需工具

1.Windows 7 32 Bit OS(你懂的)

2.Apache Hadoop 2.2.0-bin(hadoop-2.2.0.tar.gz)

3.Apache Hadoop 2.2.0-src(hadoop-2.2.0-src.tar.gz)

3.JDK 1.7

4.Maven 3.2.1(apache-maven-3.2.1-bin.zip)

5.Protocol Buffers 2.5.0

6.Unix command-line tool Cygwin(Setup-x86.exe)

7.Microsoft Windows SDK v7.1

Apache Hadoop 2.X推荐运行环境是64Bit机器,因为实际运行过程中要超过4GB内存嘛!32Bit适合个人开发调试学习使用。 继续阅读“Hadoop:Windows 7 32 Bit 编译与运行 – SmartBooks – 博客园”

解决运行Eclipse出错:Failed to load the JNI shared library

编译调试hadoop2.7.1,将jdk1.8卸载,安装jdk1.7,运行Eclipse出错:Failed to load the JNI shared library

原因和解决办法:eclipse是32位的,系统是64位的,所以我装的64位jdk1.7,卸掉之后安装32位jdk1.7,eclipse顺利启动。

经验总结:eclipse的版本和jdk的版本要对应,要么都是32位,要么都是64位。

还有一个原因有可能是java相应目录下没有jvm.dll这个文件,那你需要去看看这个文件到底在不在,或者环境变量是否设置正确并生效(改变java home环境变量可能需要重启)。

hbase常识及habse适合什么场景-Hbase-about云开发

当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库?答案是什么,如果我们使用的传统数据库,肯定留有多余的字段,10个不行,20个,但是这个严重影响了质量。并且如果面对大数据库,pt级别的数据,这种浪费更是严重的,那么我们该使用是什么数据库?hbase数个不错的选择,那么我们对于hbase还存在下列问题:

 

1.Column Family代表什么?

2.HBase通过row和column确定一份数据,这份数据的值可能有多个版本,为什么会存在多个版本?

3.查询的时候会显示那个版本?

4.它们的存储类型是什么?

5.tableName是什么类型?

6.RowKey 和 ColumnName是什么类型?

7.Timestamp 是什么类型?

8.value 是什么类型? 继续阅读“hbase常识及habse适合什么场景-Hbase-about云开发”

hbase开发环境搭建及运行hbase小实例(HBase 0.98.3新api)-Hbase-about云开发

问题导读:

1.如何搭建hbase开发环境?

2.HTableDescriptor初始化产生了那些变化?

3.eclipse如何连接hbase集群?

hbase开发环境搭建与hadoop开发环境搭建差不多的。这里是以win7为例。 继续阅读“hbase开发环境搭建及运行hbase小实例(HBase 0.98.3新api)-Hbase-about云开发”

激荡20年:IE浏览器的辉煌与落寞 – 首页 – 百略网-专注泛互联网商业革新和科技创新

2016年1月12日对于IE来说,是一个伤感的日子。微软公司宣布于这一天停止对IE 8/9/10三个版本的技术支持,用户将不会再收到任何来自微软官方的IE安全更新;作为替代方案,微软建议用户升级到IE 11或者改用Microsoft Edge浏览器。
继续阅读“激荡20年:IE浏览器的辉煌与落寞 – 首页 – 百略网-专注泛互联网商业革新和科技创新”

微软edge浏览器javascript引擎如期开源 ChakraCore GitHub repository is now open | Microsoft Edge Dev Blog

项目地址:https://github.com/Microsoft/ChakraCore

本次开源的ChakraCore通过MIT许可证进行授权,这意味着相比较其他常见软件授权条款(如GPL、LGPL、BSD)条款更加宽松和灵活,开发者可最大限度的使用这些源代码。而更为重要的是微软还计划将代码使用到非Windows平台,在目前公布的路线图中将支持Linux。 继续阅读“微软edge浏览器javascript引擎如期开源 ChakraCore GitHub repository is now open | Microsoft Edge Dev Blog”

Hbase:namespace异常处理,hbase异常处理_云计算 | 帮客之家

Hbase 集群部署启动后几秒自动退出异常处理,

1.hadoop 与 hbase 版本不兼容,会导致此异常。

2.log 为 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常,

很可能是更换了Hbase的版本过后zookeeper还保留着上一次的Hbase设置,所以造成了冲突。

解决方案:(这里作者就出现过这个错误 搞了好几个小时才定位到是这个错误) 继续阅读“Hbase:namespace异常处理,hbase异常处理_云计算 | 帮客之家”

配置Hadoop集群:java.net.NoRouteToHostException: No route to host问题的解决 – 小程故事多 – ITeye技术网站

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to /192.168.18.218:9000 failed on local exception: java.net.NoRouteToHostException: No route to host

在配置hadoop的时候,很容易遇到以上错误,遇到以上问题的时候,一般可以通过以下几种方法解决。 继续阅读“配置Hadoop集群:java.net.NoRouteToHostException: No route to host问题的解决 – 小程故事多 – ITeye技术网站”

jps命令显示出来的进程如何关闭,如何kill

Jps 是java提供的查看java进程的工具,比如我用jps命令查看,正常情况会列出如下信息:

<进程号1111> …… <进程名A>

<进程号2222> …… <进程名B>

<进程号3333> …… <进程名C>

<进程号4444> …… <Jps>

这时用kill -9 <进程号> 是可以杀掉进程的;

[评论]一个学法律出身的码农看快播案_视点·观察_cnBeta.COM

作为一个学法律出身的码农,看了这场庭审直播,感到要理解这个案子,不仅要理解法律,也要理解技术,所以想写点东西。开始先普及个法律常识,今天在群里讨论的时候,许多人也搞不清楚犯罪和违法,刑事和民事的区别。首先我国96年刑法修订后,虽然没有明确说无罪推定原则,但基本承认了无罪推定,疑罪从无,法无明文规定不为罪。庭审上公诉人要负责举证,大家要先放弃偏见假设被诉人无罪,听控方举证,听辩方辩论。不要基于道德以及社会责任等概念进行判断。

继续阅读“[评论]一个学法律出身的码农看快播案_视点·观察_cnBeta.COM”

hbase java操作代码简介和NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguratio – 后知后觉的it路 – ITeye技术网站

将上面代码打包后 放在hadoop上通过执行:bin/hadoop jar XX.jar 包.类执行的时候,报错如下:Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
错误原因:  hadoop2 节点无法加载到hbase包

处理方式:将hbase jar拷贝到hadoop 节点上,比如 /usr/local/hbaselib

然后在 hadooop/etc/hadoop/hadoop-env.sh中 增加如下:

    for f in /usr/local/hbaselib/*.jar; do  
      if [ "$HADOOP_CLASSPATH" ]; then  
        export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f  
      else  
        export HADOOP_CLASSPATH=$f  
      fi  
    done

最后 可以在 hadoop/bin/mapred classpath下 查看是否已经将hbase lib 加载进来。 继续阅读“hbase java操作代码简介和NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguratio – 后知后觉的it路 – ITeye技术网站”