作者： admin

hadoop集群，如果不设置关闭防火墙的话，那么应该怎么办？需要设置哪些端口？_百度知道

8020 8021 50010 50020 50030 50060 50075 50090 28680 允许TCP

追问：

那50070 90000 90001这些呢？

追答：

65535以内好不好。。。 你这个90000 你搞笑了吧

追问：

那9000、9001

追答：

...想开就开吧。。。不知道做什么。。。

提问者评价

谢谢!

来源URL：http://zhidao.baidu.com/link?url=iyL0s5lTBrnrosy9q4w6TMG6nEk7D0zF8QQ3l_POK7jA0XZwQb6Y15Ad3MhIJmeL_0ywH7cEFt1RnE0tyte2IK

hadoop节点中不关闭防火墙体验 – 分布式应用与服务器架构专栏 – 博客频道 – CSDN.NET

最近新增节点后，导致相关运行程序出现异常。

检查下来发现，一个很简单的问题导致，有一个节点运维人员忘记关闭防火墙了。

如果不关闭防火墙，有以下几种情况出现：

第一：hdfs的web管理页面，打不开该节点的文件浏览页面

第二：后台运行脚本（HIVE的），会出现莫名其妙的假死状态

第三：在删除和增加节点的时候，会让数据迁移处理时间更长，甚至不能正常完成相关操作

第四：不管你做任何操作，都是会运行不正常，而且很不顺手

来源URL：http://cache.baiducontent.com/c?m=9d78d513d99912f905b0d6690c66c0176e43f3102ba7a3020ea38449e3732d41501590ac26520774d8d20a6d16ae394b9af52103351450c78cbc8a5dacbe8558599c60742e13dc0754910eaeb85b38917ecd0ffeaf6eb6fba66e84aea58f88124e9b095226cbab81500a1ed73cb0526ab2f8ce55430856e9b66e24e253752b9f2446b6&p=8c769a479c934eaf5be7db225c4b80&newp=906fd616d9c10bf908e2947d076483231610db2151d7d3153582&user=baidu&fm=sc&query=hadoop%CE%AA%BA%CE%D2%AA%B9%D8%B7%C0%BB%F0%C7%BD&qid=f3ddc3a10001fcae&p1=5

有一个思考，老师的hadoop安装视频里面，都是讲防火墙直接关闭 – Hadoop分布式数据分析平台-炼数成金-Dataguru专业数据分析社区

有一个思考，老师的hadoop安装视频里面，都是讲防火墙直接关闭，但是实际线上这样做显然是不安全的，我们应该要做的是，

整理hadoop集群当中要用到的端口，在iptables白名单里面开放内网的这些端口。实际上hadoop集群当中需要用到的有哪些端口，有木有大神帮忙整理一下的？

你直接netstat -tulnp把hadoop占的端口显示出来 再把这几个端口加入白名单
老师让关闭是不想让大家纠缠于iptables 因为那个又可以写一本书了

可以理解的啦。防火墙的设置可以放在另外一门课：hadoop安全，哈哈

来源URL：http://f.dataguru.cn/thread-249496-1-1.html

用C#如何实现大文件的断点上传! – linFen – 博客园

最近做在做一个项目，涉及到文件上传的问题。 以前也做过文件上传。但都是些小文件，不超过2m。 这次要求上传1g以上的东西。 没办法找来资料研究了一下。 基于web的文件上传可以使用ftp和http两种协议，用ftp的话虽然传输稳定，但安全性是个严重的问题，所以没有考虑。 剩下只有http。 继续阅读“用C#如何实现大文件的断点上传! – linFen – 博客园”

CentOS 6.5安全加固及性能优化 – 51CTO.COM

经常玩Linux系统的朋友多多少少也知道些系统参数优化和怎样增强系统安全性，系统默认的一些参数都是比较保守的，所以我们可以通过调整系统参数来提高系统内存、CPU、内核资源的占用，通过禁用不必要的服务、端口，来提高系统的安全性，更好的发挥系统的可用性。通过自己对Linux了解，对系统调优做了如下小结： 继续阅读“CentOS 6.5安全加固及性能优化 – 51CTO.COM”

centos 系统下安装配置FastDFS步骤分享_RedHat/Centos_操作系统_脚本之家

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等 继续阅读“centos 系统下安装配置FastDFS步骤分享_RedHat/Centos_操作系统_脚本之家”

Mahout – Clustering (聚类篇) | 四号程序员

什么是Mahout？

” Apache Mahout™ project’s goal is to build a scalable machine learning library ”

我来拓展一下：

(1) Mahout 是Apache旗下的开源项目，集成了大量的机器学习算法。

(2) 大部分算法，可以运行在Hadoop上，具有很好的拓展性，使得大数据上的机器学习成为可能。 继续阅读“Mahout – Clustering (聚类篇) | 四号程序员”

▇▇▇mfs权威指南(moosefs)分布式文件系统一站式解决方案(部署，性能测试)不断更新-分布式文件系统（FastDFS）-ChinaUnix.net

1. 我在性能测试中间遇到些问题，因为我时间有限，所以希望大家一起来测试解决，群策群力。有什么问题请大家及时指出来，因为我也处在一个不断摸索的阶段。 继续阅读“▇▇▇mfs权威指南(moosefs)分布式文件系统一站式解决方案(部署，性能测试)不断更新-分布式文件系统（FastDFS）-ChinaUnix.net”

在CentOS 6.4上安装配置GlusterFS的方法-linux-操作系统-壹聚教程网

目目前在文件同步方面采用的是rsync，在尝试用分布式文件系统替换的时候，使用过MooseFS，效果差强人意，在了解到了GlusterFS之后，决定尝试一下，因为它跟MooseFS相比，感觉部署上更加简单一些，同时没有元数据服务器的特点使其没有单点故障的存在，感觉非常不错。 继续阅读“在CentOS 6.4上安装配置GlusterFS的方法-linux-操作系统-壹聚教程网”