一、网络文件系统概述
Sun Microsystems公司于1984年推出了一个在整个计算机工业中被广泛接受的远程文件存取机制,它被称为Sun的网络文件系统(Network File System),或者简称为NFS。该机制允许在一台计算机上运行一个服务器,使对其上的某些或所有文件都可以进行远程存取,还允许其他计算机上的应用程序对这些文件进行存取。 继续阅读“Glusterfs之nfs模块源码分析(上)之nfs原理和协议 – BruceWoo的专栏 – 博客频道 – CSDN.NET”
代码剪辑,记录代码人生的点点滴滴!
Sun Microsystems公司于1984年推出了一个在整个计算机工业中被广泛接受的远程文件存取机制,它被称为Sun的网络文件系统(Network File System),或者简称为NFS。该机制允许在一台计算机上运行一个服务器,使对其上的某些或所有文件都可以进行远程存取,还允许其他计算机上的应用程序对这些文件进行存取。 继续阅读“Glusterfs之nfs模块源码分析(上)之nfs原理和协议 – BruceWoo的专栏 – 博客频道 – CSDN.NET”
NFS 文件系统是目前最为成功的网络文件系统,在文件共享领域有着出色的表现,特别是 pNFS 的出现,使得 NFS 文件系统在性能和规模上有了大幅提升,为其带了更为广阔的应用空间。同时,NFS 之所以备受关注,还在于它在 NAS 存储领域的关键作用。本文剖析了 NFSv3 文件系统源代码,使开发工程师,技术支持人员,特别是存储领域从业人员对 NFS 有更为深刻的认识。
服务器时常需要配置无密码的登录方式,最一般的设置方式如下: 继续阅读“ssh-copy-id使用非默认22端口时_剑次狼_新浪博客”
昨天 VMware Workstation 10.0 正式版已经发布了!今天太忙了,没来得及更新,这么重要的软件绝对不可以漏掉。本文带来VMware Workstation 10.0官方网站直链下载地址,以及可用的序列号(即注册码)。 继续阅读“VMware Workstation 10.0 下载 – 正版序列号+简体中文官方原版”
MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A
5A6F6-88247-XZH59-HL0Q6-8CD2V
HF6QX-20187-2Z391-522NH-9AELT
5F29M-48312-8ZDF9-A8A5K-2AM0Z
我用的第一个,这些都是永久的,VMW的公司没怎么管破解、盗版,VMW注册机可以生成一大把许可证。
hadoop安全模式
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结 束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。 继续阅读“hadoop安全模式 – Aviva He的日志 – 网易博客”
“妈妈,你沉睡在大地零下100多度的低温里。再见面,最短也是50年以后。虽然这是科学家给出的预言,预言也有可能落空,实验也可能失败。但,总还有希望不是吗?妈妈,我们最后一刻也没有放弃,不是吗?”——这是一名女孩在母亲去世之后深情而奇特的表白
#! /bin/sh 是指此脚本使用/bin/sh来解释执行,#!是特殊的表示符,其后面跟的是解释此脚本的shell的路径。如果脚本中没有声明,则脚本将在用户默认的shell中执行。用户默认的shell环境是在/etc/passwd中定义:比如passwd文件第一行中 root:x:0:0:root:/root:/bin/bash,最后的/bin/bash说明root用户的默认shell是/bin/bash。虽然#! /bin/sh 可有可无,所以建议就把”#!/bin/sh”当成C 语言的main函数一样,写shell必须有,以使shell程序更严密。
#!/bin/sh
echo “asfsaf
gfsfdsf
asfasdas
gds
fs
f” >> 123.txt
输入到要换行的地方直接回车就行了,记得双引号引出
linux的远程端口修改方法
1、修改sshd_config文件
vi /etc/ssh/sshd-config
在最末尾添加 port 端口 ——此端口就是你要修改的端口。
2、重启sshd服务即可
service sshd restart
启动hadoop,但ssh 端口不是默认的22怎么样?好在它可以配置。在conf/hadoop-env.sh里改下。如:
export HADOOP_SSH_OPTS=”-p 1234″
Linux防火墙Iptable如何设置只允许某个ip访问80端口,只允许特定ip访问某端口?参考下面命令,只允许46.166.150.22访问本机的80端口。如果要设置其他ip或端口,改改即可。 继续阅读“Linux防火墙Iptable如何设置只允许某个ip访问80端口,只允许特定ip访问某端口 – Linux VPS租用 – 国外/美国服务器租用”
HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来了很多便利。 继续阅读“Hadoop集群(第8期)_HDFS初探之旅 – 虾皮 – 博客园”
刚配置完hadoop1.0.4发现对配置文件还是不太了解,就baidu了下,跟大家分享下 。常用的端口配置 继续阅读“hdfs 常用端口和 hdfs-default配置文件参数的意义(转载) – Hadoop分布式数据分析平台-炼数成金-Dataguru专业数据分析社区”
-福利贴-
资源1: 受Maven折磨的同学来福利了,Eclipse非maven版本下载地址
JEECG 开发平台(V3系列)
JEEWX微信管家系统(V2系列) 继续阅读“JEECG 开源社区所有开源项目下载(总览) – Jeecg& 官方资讯 – JEECG微云快速开发平台-官方论坛 – ��ҳ”
分布式文件系统主要用于解决海量数据存储的问题,如Goolge、Facebook等大型互联网企业都使用分布式文件系统作为数据存储的基础设施,并在其上构建很多服务,分布式文件系统通常采用三副本的策略来保证数据的可靠性,但随着应用数据量的不断膨胀,三副本策略为可靠性牺牲的存储空间也越来越大,如何在不降低数据可靠性的基础上,进一步降低存储空间成本? Facebook将erasure code应用到内部HDFS集群中,该方案使用erasure code代替传统的三副本策略,在保持集群可用性不变的情况下,节省了数PB的存储空间,Facebook的实现方案(HDFS RAID)目前已贡献给开源社区。 继续阅读“HDFS RAID实现方案-zyd_cu-ChinaUnix博客”
这里简单讲下hadoop的网络拓扑距离的计算 继续阅读“HDFS 数据流-fjsm20Linux-ChinaUnix博客”
分布式文件系统比较出名的有HDFS 和 GFS,其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。
1、三个部分: 客户端、nameserver(可理解为主控和文件索引类似linux的inode)、datanode(存放实际数据的存server)
HDFS(Hadoop
Distributed Filesystem)客户端通过被称之为Namenode单服务器节点执行文件系统原数据操作,同时DataNode会与其他DataNode进行通信并复制数据块以实现冗余,这样单一的DataNode损坏不会导致集群的数据丢失。 继续阅读“HDFS Namenode是如何工作的? – tenfyguo的技术专栏 – 博客频道 – CSDN.NET”