hadoop集群中有一台datanode始终不接受数据的问题,已解决,成功经验分享

最近做hadoop的实验,有一个datanode始终接收不到数据是怎么回事?
我用Got back one command: FinalizeCommand/5、Got finalize command for block pool、Detected pause in JVM or host machine (eg GC): pause of approximately、No GCs detected,这几个关键词去查询,也没有实质进展,最终自己找到原因:端口没开,开了之后一切正常,经验分享出来,避免大家再犯同样错误。

继续阅读“hadoop集群中有一台datanode始终不接受数据的问题,已解决,成功经验分享”

基于海思Hi3716cv200的Android源码编译及烧写 – 『数字电视机顶盒海思方案专区』| Hisilicon Solutions – 数字电视开发论坛 – Powered by Discuz!

1、先说说硬件配置,我最开始是在Win7(I7 4770,8G RAM,2T硬盘)里装ubuntu10.10 64位系统(4G RAM,200G 硬盘)进行源码编译,大概花了3个多小时。而且还多次出现outofmemoryerror 错误。最后将硬件升级为I7 4770、16G内存、2T硬盘,不装虚拟机,直接跑Ubuntu 10.10系统,Swap分区为16G,编译一次大概花了40分钟,没有报任何错误。 所以不推荐在虚拟机里面跑。 继续阅读“基于海思Hi3716cv200的Android源码编译及烧写 – 『数字电视机顶盒海思方案专区』| Hisilicon Solutions – 数字电视开发论坛 – Powered by Discuz!”

巧用MapReduce+HDFS,海量数据去重的五大策略-CSDN.NET

随着存储数据信息量的飞速增长,越来越多的人开始关注存储数据的缩减方法。数据压缩、单实例存储和重复数据删除等都是经常使用的存储数据缩减技术。

重复数据删除往往是指消除冗余子文件。不同于压缩,重复数据删除对于数据本身并没有改变,只是消除了相同的数据占用的存储容量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势,并对扩展性有所帮助。 继续阅读“巧用MapReduce+HDFS,海量数据去重的五大策略-CSDN.NET”

Hadoop的thrift server配置_服务器应用_Linux公社-Linux系统门户网站

一.概述

默认的hbase安装包已经有了thrift服务,使用见hbase文档。Hadoop默认包没有thrift服务,即没有网上说的hadoophome/src/contrib/thriftfs/scripts/start_thrift_server.sh,因此需要手动编译,使用的编译工具是Ant。Bin包其实是已经编译过的安装包,所以不具有以上文件夹,无法编译,需要下载非bin的hadoop软件包。 继续阅读“Hadoop的thrift server配置_服务器应用_Linux公社-Linux系统门户网站”

HDFS资源管理器源码发布 – 古道 – 博客园

Hadoop对于从事分布式存储工作的朋友应该并不陌生(如果你还没有听说过请到百度百科http://baike.baidu.com/view/908354.htm看个究竟),本文主要针对Hadoop的分布式文件系统也就是HDFS展开讨论。引用Hadoop官方的一句话:HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。这么好的系统我们没有不用的道理吧,如何用呢?这里我不说如何部署Hadoop,主要讲如何让.net程序员来用。为什么只是.net程序员呢,因为Hadoop本身是Java实现且需要架设在Linux系统上,而这些都是我们习惯了Windows下.net编程的开发人员所不擅长的。下面先展示一下本文标题中所说的HDFS资源的效果,如图: 继续阅读“HDFS资源管理器源码发布 – 古道 – 博客园”

十八款Hadoop工具帮你驯服大数据 – 51CTO.COM

Hadoop业界正在迅速发展,从业企业拿出的解决方案也多种多样,其中包括提供技术支持、在托管集群中提供按时租用服务、为这套开源核心开发先进的功能强化或者将自有工具添加到方案组合当中。

在今天的文章中,我们将一同了解当下Hadoop生态系统当中那些最为突出的杰作。总体而言,这是一套由众多工具及代码构成的坚实基础、共同聚集在”Hadoop”这面象征着希望的大旗之下。 继续阅读“十八款Hadoop工具帮你驯服大数据 – 51CTO.COM”

中兴ZXV10 B760E root详细全过程——小白玩机_其它品牌盒子

我实际操作成功,但要注意,superuser下载3.3没成功root,换Superuser-3.2-RC3-arm-signed.zip就成功root了。然后就是各种操作要注意cmd和adb shell切换,还有串口操作互相交叉着来,最终成功。以后就不用每次都拆机上ttl线了。

04.09 更新:

本以为全OK了,root的事情还没结束。只好再更新下,见后面。

04.02 总结:

root成功并且安装了sshd。感觉就没有刷固件的必要了。就此作个总结吧。

继续阅读“中兴ZXV10 B760E root详细全过程——小白玩机_其它品牌盒子”

[评论]SpaceX火箭详解:马斯克并不仅仅是个CEO_人物_cnBeta.COM

耗时四年, 马斯克终于离自己的星际旅行梦想更近一步。马斯克2001年定出了让人类星际移民,特别是定居火星的目标。如今15年过去,看似不可能想法正慢慢变为现实。马斯克2001年卖出Paypal时获得了大笔资金,于是创立了SpaceX并投资了后来的特斯拉。不过有关SpaceX的发展历程,很多人都误认为是马斯克是花钱了事,以投资人身份出任CEO而已。

继续阅读“[评论]SpaceX火箭详解:马斯克并不仅仅是个CEO_人物_cnBeta.COM”

hbase 建的表删除不掉的问题,已成功解决,经验分享

所用平台:hadoop 2.7.1,hbase 1.0.1.1,hbase api 1.0.1.1
发现的问题:之前在eclipse中调用api建表、填充数据、查看数据、删除数据、删除表都已经成功,但有一天同事用api建了一张表city,在hbase shell里删不掉。
我试了下,可以disable,但drop报错ERROR: Retries exhausted, it took too long to wait for the table city to be deleted.,以下是实验操作记录摘要,表名users2,供大家参考: 继续阅读“hbase 建的表删除不掉的问题,已成功解决,经验分享”

转:电信中兴b760ev3超清iptv破解教程-远景论坛-微软极客社区

准备工作:

1、预先从pan.baidu.com/s/1hqtfFSw里下载MyWebServerv3.1.37,并解压到某一文件夹。

2、一根好的网线

3、电脑一台(测试电脑为win7- 64位系统)

一、关于电脑的设置:

(一)关闭防火墙

1、点击,打开控制面板

、找到windows防火墙,点击 继续阅读“转:电信中兴b760ev3超清iptv破解教程-远景论坛-微软极客社区”

已破解上海电信4KIPTV机顶盒烽火HG680-J安装第三方应用『 其他网络设备交流区 』 – Powered by ChinAdsl.Net

电信4KIPTV机顶盒烽火HG680-J安装第三方应用,拆机上ttl线,启动adbd,然后电脑上连接盒子安装三方软件即可。 继续阅读“已破解上海电信4KIPTV机顶盒烽火HG680-J安装第三方应用『 其他网络设备交流区 』 – Powered by ChinAdsl.Net”

ZKteco门禁管理员破解,考勤机管理员破解/清除/密码/恢复出厂设置方法-中控科技(Zksoftware)

中控考勤机管理员密码清除方法
第一种方式(软件清除法):可以用考勤机和计算机通讯,通讯成功后,进入考勤机管理标签页,在机器信息项目下单击清除管理员按钮,可以清除考勤机的管理员,断开连接后,就可以进入考勤机的菜单模式了。

weka使用朴素贝叶斯进行中文文本分类的试验,成功经验分享

网上找了两篇教程,但是有些错误,导致无法继续试验,通过摸索最终解决,将成功经验分享给大家,希望能帮到大家。NaiveBayes = 朴素贝叶斯

试验机器是hp g6 dl380,windows server 2012 R2 64位系统,300G硬盘,16g内存,Intel(R) Xeon(R) CPU E5520 @ 2.27GHz 单路4核8线程。

实验步骤: 继续阅读“weka使用朴素贝叶斯进行中文文本分类的试验,成功经验分享”

weka使用朴素贝叶斯进行中文文本分类遇到几个错误

做中文文本分类实验,按照教程一步一步做的,报错如下: > java weka.filters.supervised.attribute.Discretize -i data_vsm.arff -o data_D_vsm.arff -c firs Unable to determine structure as arff (Reason: java.io.IOException: premature end of line, read Token[EOL], line 5).
大概意思是:无法确定ARFF文件的结构(原因:java.io.IOException,IO异常:行提前结束,查阅第5行的行结束符找找原因)。 继续阅读“weka使用朴素贝叶斯进行中文文本分类遇到几个错误”