装好hadoop,但是一直出现问题,总结如下:
排错到现在,最大的感觉是,也许你的错误表象跟网上说的一样,但是解决方法会大有不同,只能说这种错误是同一问题(如namenode出错)导致,但是究竟是什么行为导致这个问题,每个人也许都不相同,所以重点是找到自己的操作时的错误所在 继续阅读“hadoop遇到的问题 – dandingyy – 博客园”
代码剪辑,记录代码人生的点点滴滴!
装好hadoop,但是一直出现问题,总结如下:
排错到现在,最大的感觉是,也许你的错误表象跟网上说的一样,但是解决方法会大有不同,只能说这种错误是同一问题(如namenode出错)导致,但是究竟是什么行为导致这个问题,每个人也许都不相同,所以重点是找到自己的操作时的错误所在 继续阅读“hadoop遇到的问题 – dandingyy – 博客园”
【流媒体网】消息 【说明:本报告数据均来自平台所有用户基于IPTV产品的所有使用记录,包括各项功能的使用、内容产品的收看、平台应用产品的使用,所有数据客观、真实、准确。】
第一部分 平台发展导视 继续阅读“湖南IPTV 6月用户行为数据分析报告 – 推酷”
PPTP VPN在默认的Linux防火墙下是无法穿透的,而SSL VPN则可以,为了能透过Linux防火墙拨号到其后的PPTP VPN服务器,必须在Linux防火墙上安装netfilter的patch-o-matic-ng补丁。 继续阅读“配置Linux防火墙使PPTPVPN协议可穿透-ChinaUnix操作系统频道”
搭建的PPTP的VPN在公司连经常报619错误,花费了我很多时间去解决。 继续阅读“终于知道VPN经常连不上的原因了_KylinHuang_新浪博客”
现在我的hadoop搭建完毕后,mapreduce无法完成。 继续阅读“hadoop与DNS与IP解析 – ITeye问答”
最近在配置hadoop,发现要修改/etc/sysconfig/network,中的hostname,然后还要修改/etc/hosts中的hostname和ip的对应关系,最后在hadoop各配置文件中应用hostname。如果不这样做就会导致各种莫名其妙的问题,比如:
1.用jps查看namenode和datanode正常启动,但是用hadoop dfsadmin -report查看结果全是0,NaN,就是说硬盘容量没有正确识别。
2.web ui中看到的live nodes 是0。
3.有可能还会造成safe mode on。
结论:目前的版本hadoop2.7.1必须用hostname进行通信,用ip就出问题,无法正常使用,完全不行。
原来架设过VPN且没有遇到任何问题,不过这次运气就没那么好了,折腾了老半天才解决。 继续阅读“pptpd架设VPN遇到的问题 – Blog – DannySite”
不管在TIOBE Index的排行如何,JavaScript依然是时下炙手可热的编程语言。而这种流行程度事实上得来不易,该编程语言曾出现过发布四年无任何新增功能的休眠时期,尽管如此,开发者对这款编程语言依然趋之若鹜,主要是很多技术都在JavaScript的基础上研发,其中典型的例子就是Node.js。 继续阅读“[信息图]一张图全面了解JavaScript_软件和应用_cnBeta.COM”
参考消息网1月30日报道 日媒称,中国的“防火长城”存在了多久,人们用虚拟专用网络(VPN)来“翻墙”——绕过屏蔽特定网站(从推特、脸书到《纽约时报》)的中国网络审查制度——的时间就有多久。使用VPN是个公开的秘密,北京显然(尽管不情不愿)容忍了这种做法。北京和上海等地某些豪华酒店甚至向客人提供VPN上网服务。 继续阅读“中国整顿VPN 日媒:与美国争夺网络主导权_新浪新闻”
你在VPS上下载,那是下行
你连接VPN再下载,那得要求上行速度给力
你可以在VPS上放一个文件,你本地下载那个文件试试,用单线程哦亲~
问题 linux平台用pptp搭建了vpn服务器,拨入后访问内网ftp,下载文件极慢;用其作网关上网,除了baidu外,大部分网站访问速度极慢,几乎无法访问。
Win7 旗舰版和企业版自带NFS客户端,打开控制面板找到“打开或关闭windows功能”。勾选NFS确定之后即可使用。 继续阅读“Win7 NFS 设置详解 | X-Space”
8020 8021 50010 50020 50030 50060 50075 50090 28680 允许TCP
那50070 90000 90001这些呢?
65535以内好不好。。。 你这个90000 你搞笑了吧
那9000、9001
...想开就开吧。。。不知道做什么。。。
谢谢!
最近新增节点后,导致相关运行程序出现异常。
检查下来发现,一个很简单的问题导致,有一个节点运维人员忘记关闭防火墙了。
如果不关闭防火墙,有以下几种情况出现:
第一:hdfs的web管理页面,打不开该节点的文件浏览页面
第二:后台运行脚本(HIVE的),会出现莫名其妙的假死状态
第三:在删除和增加节点的时候,会让数据迁移处理时间更长,甚至不能正常完成相关操作
第四:不管你做任何操作,都是会运行不正常,而且很不顺手
有一个思考,老师的hadoop安装视频里面,都是讲防火墙直接关闭,但是实际线上这样做显然是不安全的,我们应该要做的是,
整理hadoop集群当中要用到的端口,在iptables白名单里面开放内网的这些端口。实际上hadoop集群当中需要用到的有哪些端口,有木有大神帮忙整理一下的?
你直接netstat -tulnp把hadoop占的端口显示出来 再把这几个端口加入白名单
老师让关闭是不想让大家纠缠于iptables 因为那个又可以写一本书了
可以理解的啦。防火墙的设置可以放在另外一门课:hadoop安全,哈哈
Hadoop的核心功能有两个:HDFS与MapReduce。 继续阅读“部署Hadoop时的注意事项(基础篇)”
最近做在做一个项目,涉及到文件上传的问题。 以前也做过文件上传。但都是些小文件,不超过2m。 这次要求上传1g以上的东西。 没办法找来资料研究了一下。 基于web的文件上传可以使用ftp和http两种协议,用ftp的话虽然传输稳定,但安全性是个严重的问题,所以没有考虑。 剩下只有http。 继续阅读“用C#如何实现大文件的断点上传! – linFen – 博客园”
经常玩Linux系统的朋友多多少少也知道些系统参数优化和怎样增强系统安全性,系统默认的一些参数都是比较保守的,所以我们可以通过调整系统参数来提高系统内存、CPU、内核资源的占用,通过禁用不必要的服务、端口,来提高系统的安全性,更好的发挥系统的可用性。通过自己对Linux了解,对系统调优做了如下小结: 继续阅读“CentOS 6.5安全加固及性能优化 – 51CTO.COM”