hbase hmaster启动起来就自动关闭的问题解决成功经验分享

最近对系统进行了升级,yum update,升级之后发现jps命令用不了了,最终找到问题是jps和java的连接全部失效,手动更改位置之后jps能用,但hbase还是调用原来的位置,一个个改太繁琐了,用ln jps /usr/lib/jvm/java/bin/jps重建连接之后发现该问题解决,但另几台机子还是不行,用yum remove java-1.8.0-openjdk*和yum install java-1.8.0-openjdk*重装java之后一切问题解决。还有几台机子yum update升级之后并没有产生这个问题,一切正常,不知道为什么,都是从centos6.5升级到centos6.7。

之后运行hbase发现hbase报一堆错误,大概意思就是zookeeper无法连接主机,在主机上看了下jps,发现没有hmaster这个进程,用xyhadoop/hbase-1.0.1.1/bin/hbase-daemon.sh start master启动hmaster之后,用jps看到hmaster进程,但瞬间再次用jps看的时候hmaster已经自动关闭了。 继续阅读“hbase hmaster启动起来就自动关闭的问题解决成功经验分享”

安装配置 phoenix 到 hbase 遇到的问题和成功经验分享

Phoenix 是一个开源的 SQL 封装,可以用 SQL 语法操作 HBase 这种分布式的 NoSQL 数据库。你也可以使用标准的 JDBC APIs 来取代 HBase client APIs 创建表、插入数据、查询数据等。

本教程包括如何安装 Phoenix 和使用 Phoenix 时遇到的几个问题如何解决。所用平台版本为:hadoop 2.7.1,hbase 1.0.1.1,phoenix-4.7.0-HBase-1.0。因此跟网上搜到的教程不太一样。 继续阅读“安装配置 phoenix 到 hbase 遇到的问题和成功经验分享”

Netflix的前世今生——一个硅谷创新者的坎坷历程-华尔街见闻

我在公众号investguru 上发表的文章多了后,开始有点名气,最近有机会得到一个硅谷著名的华人电视媒体人的邀请,参与一个有关财经科技电视节目的制作。她希望我能够从财经的角度,给中国的观众介绍一个更有意思的硅谷。

我们在讨论节目的选题时,聊起Netflix. 她提到她的一个朋友,当年几十块就急吼吼地把Netflix 股票卖掉了, 而现在Netflix 股价已经五百多块。

我觉得这是一个非常有意思的故事,普通人对Netflix 的历史还有许多误解,这是一个不断自我革新,修正商业模式的创新公司,把它的故事和大家讲一讲,也许会有不少启迪。 继续阅读“Netflix的前世今生——一个硅谷创新者的坎坷历程-华尔街见闻”

个人亲测。完美支持蓝光原盘的播放器-智能电视应用下载-高清范

为了找到完美支持蓝光原盘的播放器,个人亲测了不下20款播放器,终鱼亲测这款完美支持,现在分享给大家,本人用的是百度云盒4盒,不保证支持所有盒子

/ a2 [‘ f( C0 Q” P1 q0 zhttp://pan.baidu.com/share/link?shareid=386722&uk=4063596408&third=15

我本人也是亲测,我的悦me盒子可以用,rmvb、mp4、mkv、m2ts、4k h265 ts(不支持)。我找的mx player盒子上提示没有解码器,需要下载,点击下载提示找不到地址。看来以后需要主用bsplayer了。其它播放机全是垃圾,尤其是国产的那些。 继续阅读“个人亲测。完美支持蓝光原盘的播放器-智能电视应用下载-高清范”

Ambari server 和 Ambari agent 安装经验分享

Ambari 是一个基于浏览器的部署、管理、监控 hadoop 集群的工具,非常强大,使用非常简单。目前 Ambari 只支持 64位 的 linux 操作系统:

  • RHEL (Redhat Enterprise Linux) 6 and 7
  • CentOS 6 and 7
  • OEL (Oracle Enterprise Linux) 6 and 7
  • SLES (SuSE Linux Enterprise Server) 11
  • Ubuntu 12 and 14
  • Debian 7

安装方式有两种:一种是通过 yum apt 之类的工具从仓库安装;一种是通过下载源代码,自行编译安装。这里我们采用第一种方式:从仓库安装。 继续阅读“Ambari server 和 Ambari agent 安装经验分享”

实战Linux下VMware虚拟机根目录空间扩充_sharps_新浪博客

今天上午接到通知说服务器挂了,经过检查发现原因是Linux的虚拟机根分区已经使用100%,以至于服务不能正常进行。

经过小小的研究,顺利解决问题,把服务器的空间由4G扩成12G。现将执行全过程总结如下,以供分享。

首先,介绍下大体的解决思路,要想扩充,硬件上要有准备,说白了也就是要有一块新的空间来供我们使用。对于实体机我们需要准备一块新的硬盘,而对于VMWare虚拟机,我们只需要使用vmware自带的软件扩充下磁盘大小。 继续阅读“实战Linux下VMware虚拟机根目录空间扩充_sharps_新浪博客”

hadoop集群中有一台datanode始终不接受数据的问题,已解决,成功经验分享

最近做hadoop的实验,有一个datanode始终接收不到数据是怎么回事?
我用Got back one command: FinalizeCommand/5、Got finalize command for block pool、Detected pause in JVM or host machine (eg GC): pause of approximately、No GCs detected,这几个关键词去查询,也没有实质进展,最终自己找到原因:端口没开,开了之后一切正常,经验分享出来,避免大家再犯同样错误。

继续阅读“hadoop集群中有一台datanode始终不接受数据的问题,已解决,成功经验分享”

基于海思Hi3716cv200的Android源码编译及烧写 – 『数字电视机顶盒海思方案专区』| Hisilicon Solutions – 数字电视开发论坛 – Powered by Discuz!

1、先说说硬件配置,我最开始是在Win7(I7 4770,8G RAM,2T硬盘)里装ubuntu10.10 64位系统(4G RAM,200G 硬盘)进行源码编译,大概花了3个多小时。而且还多次出现outofmemoryerror 错误。最后将硬件升级为I7 4770、16G内存、2T硬盘,不装虚拟机,直接跑Ubuntu 10.10系统,Swap分区为16G,编译一次大概花了40分钟,没有报任何错误。 所以不推荐在虚拟机里面跑。 继续阅读“基于海思Hi3716cv200的Android源码编译及烧写 – 『数字电视机顶盒海思方案专区』| Hisilicon Solutions – 数字电视开发论坛 – Powered by Discuz!”

巧用MapReduce+HDFS,海量数据去重的五大策略-CSDN.NET

随着存储数据信息量的飞速增长,越来越多的人开始关注存储数据的缩减方法。数据压缩、单实例存储和重复数据删除等都是经常使用的存储数据缩减技术。

重复数据删除往往是指消除冗余子文件。不同于压缩,重复数据删除对于数据本身并没有改变,只是消除了相同的数据占用的存储容量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势,并对扩展性有所帮助。 继续阅读“巧用MapReduce+HDFS,海量数据去重的五大策略-CSDN.NET”

Hadoop的thrift server配置_服务器应用_Linux公社-Linux系统门户网站

一.概述

默认的hbase安装包已经有了thrift服务,使用见hbase文档。Hadoop默认包没有thrift服务,即没有网上说的hadoophome/src/contrib/thriftfs/scripts/start_thrift_server.sh,因此需要手动编译,使用的编译工具是Ant。Bin包其实是已经编译过的安装包,所以不具有以上文件夹,无法编译,需要下载非bin的hadoop软件包。 继续阅读“Hadoop的thrift server配置_服务器应用_Linux公社-Linux系统门户网站”