hadoop遇到的问题 – dandingyy – 博客园

装好hadoop,但是一直出现问题,总结如下:

排错到现在,最大的感觉是,也许你的错误表象跟网上说的一样,但是解决方法会大有不同,只能说这种错误是同一问题(如namenode出错)导致,但是究竟是什么行为导致这个问题,每个人也许都不相同,所以重点是找到自己的操作时的错误所在 继续阅读“hadoop遇到的问题 – dandingyy – 博客园”

linux中iptables开启后pptp vpn拨号失败解决办法-linux-操作系统-壹聚教程网

现在如果各位想上上国外网站就必须得使用vpn之类的工具上网看看了,这种配置一般在linux系统中操作,但小编碰到一个问题就是把linux iptables防火墙开启后vpn无法正常使用了,那么这个问题怎么处理呢。 继续阅读“linux中iptables开启后pptp vpn拨号失败解决办法-linux-操作系统-壹聚教程网”

hadoop必须使用主机名,用ip不行

最近在配置hadoop,发现要修改/etc/sysconfig/network,中的hostname,然后还要修改/etc/hosts中的hostname和ip的对应关系,最后在hadoop各配置文件中应用hostname。如果不这样做就会导致各种莫名其妙的问题,比如:
1.用jps查看namenode和datanode正常启动,但是用hadoop dfsadmin -report查看结果全是0,NaN,就是说硬盘容量没有正确识别。
2.web ui中看到的live nodes 是0。
3.有可能还会造成safe mode on。
结论:目前的版本hadoop2.7.1必须用hostname进行通信,用ip就出问题,无法正常使用,完全不行。

[信息图]一张图全面了解JavaScript_软件和应用_cnBeta.COM

不管在TIOBE Index的排行如何,JavaScript依然是时下炙手可热的编程语言。而这种流行程度事实上得来不易,该编程语言曾出现过发布四年无任何新增功能的休眠时期,尽管如此,开发者对这款编程语言依然趋之若鹜,主要是很多技术都在JavaScript的基础上研发,其中典型的例子就是Node.js。 继续阅读“[信息图]一张图全面了解JavaScript_软件和应用_cnBeta.COM”

中国整顿VPN 日媒:与美国争夺网络主导权_新浪新闻

参考消息网1月30日报道 日媒称,中国的“防火长城”存在了多久,人们用虚拟专用网络(VPN)来“翻墙”——绕过屏蔽特定网站(从推特、脸书到《纽约时报》)的中国网络审查制度——的时间就有多久。使用VPN是个公开的秘密,北京显然(尽管不情不愿)容忍了这种做法。北京和上海等地某些豪华酒店甚至向客人提供VPN上网服务。 继续阅读“中国整顿VPN 日媒:与美国争夺网络主导权_新浪新闻”

hadoop集群,如果不设置关闭防火墙的话,那么应该怎么办?需要设置哪些端口?_百度知道

8020 8021 50010 50020 50030 50060 50075 50090 28680 允许TCP

追问:

那50070 90000 90001这些呢?

追答:

65535以内好不好。。。 你这个90000 你搞笑了吧

追问:

那9000、9001

追答:

...想开就开吧。。。不知道做什么。。。

提问者评价

谢谢!

来源URL:http://zhidao.baidu.com/link?url=iyL0s5lTBrnrosy9q4w6TMG6nEk7D0zF8QQ3l_POK7jA0XZwQb6Y15Ad3MhIJmeL_0ywH7cEFt1RnE0tyte2IK

hadoop节点中不关闭防火墙体验 – 分布式应用与服务器架构专栏 – 博客频道 – CSDN.NET

最近新增节点后,导致相运行程序出现异常。

检查下来发现,一个很简单的问题导致,有一个节点运维人员忘记防火墙了。

如果不防火墙,有以下几种情况出现:

第一:hdfs的web管理页面,打不开该节点的文件浏览页面

第二:后台运行脚本(HIVE的),会出现莫名其妙的假死状态

第三:在删除和增加节点的时候,会让数据迁移处理时间更长,甚至不能正常完成相操作

第四:不管你做任何操作,都是会运行不正常,而且很不顺手

来源URL:http://cache.baiducontent.com/c?m=9d78d513d99912f905b0d6690c66c0176e43f3102ba7a3020ea38449e3732d41501590ac26520774d8d20a6d16ae394b9af52103351450c78cbc8a5dacbe8558599c60742e13dc0754910eaeb85b38917ecd0ffeaf6eb6fba66e84aea58f88124e9b095226cbab81500a1ed73cb0526ab2f8ce55430856e9b66e24e253752b9f2446b6&p=8c769a479c934eaf5be7db225c4b80&newp=906fd616d9c10bf908e2947d076483231610db2151d7d3153582&user=baidu&fm=sc&query=hadoop%CE%AA%BA%CE%D2%AA%B9%D8%B7%C0%BB%F0%C7%BD&qid=f3ddc3a10001fcae&p1=5

有一个思考,老师的hadoop安装视频里面,都是讲防火墙直接关闭 – Hadoop分布式数据分析平台-炼数成金-Dataguru专业数据分析社区

有一个思考,老师的hadoop安装视频里面,都是讲防火墙直接关闭,但是实际线上这样做显然是不安全的,我们应该要做的是,

整理hadoop集群当中要用到的端口,在iptables白名单里面开放内网的这些端口。实际上hadoop集群当中需要用到的有哪些端口,有木有大神帮忙整理一下的?

你直接netstat -tulnp把hadoop占的端口显示出来 再把这几个端口加入白名单
老师让关闭是不想让大家纠缠于iptables 因为那个又可以写一本书了

可以理解的啦。防火墙的设置可以放在另外一门课:hadoop安全,哈哈

来源URL:http://f.dataguru.cn/thread-249496-1-1.html

用C#如何实现大文件的断点上传! – linFen – 博客园

最近做在做一个项目,涉及到文件上传的问题。 以前也做过文件上传。但都是些小文件,不超过2m。 这次要求上传1g以上的东西。 没办法找来资料研究了一下。 基于web的文件上传可以使用ftp和http两种协议,用ftp的话虽然传输稳定,但安全性是个严重的问题,所以没有考虑。 剩下只有http。 继续阅读“用C#如何实现大文件的断点上传! – linFen – 博客园”

CentOS 6.5安全加固及性能优化 – 51CTO.COM

经常玩Linux系统的朋友多多少少也知道些系统参数优化和怎样增强系统安全性,系统默认的一些参数都是比较保守的,所以我们可以通过调整系统参数来提高系统内存、CPU、内核资源的占用,通过禁用不必要的服务、端口,来提高系统的安全性,更好的发挥系统的可用性。通过自己对Linux了解,对系统调优做了如下小结: 继续阅读“CentOS 6.5安全加固及性能优化 – 51CTO.COM”

centos 系统下安装配置FastDFS步骤分享_RedHat/Centos_操作系统_脚本之家

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等 继续阅读“centos 系统下安装配置FastDFS步骤分享_RedHat/Centos_操作系统_脚本之家”