分类： 大数据、数据挖掘、云计算、机器学习

上一篇博文中我们搭建了iscsi磁盘共享，这一节我们继续搭建iscsi+corosync+pacemaker的整合

实验环境还是上几篇的实验环境，唯一需要改变就是我们的yum仓库配置文件，在其中加入下面

几行，192.168.122.1是我的真机搭建的yum源 继续阅读“Moosefs 分布式存储(五)———mfsmaster热备（二）之corosync+pacemaker-plumxx99-ChinaUnix博客”

解决方案:iscsi+corosync+pacemaker

192.168.122.19            server5.example.com    作为我们的存储服务端

192.168.122.20            server6.example.com    作mfsmaster热备

 

server6同server1安装mfs-master-1.6.27-4.x86_64.rpm，配置也同server1

在/etc/hosts添加如下行

192.168.122.20          server6.example.com   mfsmaster

192.168.122.15          server1.example.com  mfsmaster

当然各mfschunkserver也同样添加 继续阅读“Moosefs 分布式存储(四)———mfsmaster 热备(一)之iscsi-plumxx99-ChinaUnix博客”

恢复误删文件

文件删除后存放在“ 垃圾箱”中的时间称为隔离时间, 这个时间可以用 mfsgettrashtime 命令来查

看,用 mfssettrashtime 命令来设置,单位为秒,默认为 86400 秒。 继续阅读“Moosefs 分布式存储(三)———恢复误删文件及快照-plumxx99-ChinaUnix博客”

实验环境：

主机环境:RHEL6.0 selinux and iptables disabled

Master:192.168.122.15

Chunkserver: 192.168.122.16  192.168.122.17

Client: 192.168.17

 

软件下载:www.moosefs.org 继续阅读“Moosefs 分布式存储(二)———Moosefs 存储简单搭建-plumxx99-ChinaUnix博客”

MFS 特性:

1. Free(GPL)

2. 通用文件系统,不需要修改上层应用就可以使用

3. 可以在线扩容,体系架构可伸缩性极强。

4. 部署简单。

5. 高可用,可设置任意的文件冗余程度(提供比 raid1+0 更高的冗余级别,而绝对不会影响读或

写的性能,只会加速!)

6. 可回收在指定时间内删除的文件(“回收站”提供的是系统级别的服务,不怕误操作了,提供类

似 oralce 的闪回等高级 dbms 的即时回滚特性!)

7. 提供 netapp,emc,ibm 等商业存储的 snapshot 特性。(可以对整个文件甚至在正在写入的文

件创建文件的快照)

8. google filesystem 的一个 c 实现。

9. 提供 web gui 监控接口。

10. 提高随机读或写的效率。

11. 提高海量小文件的读写效率。

 

可能的瓶颈:

1. master 本身的性能瓶颈。mfs 系统 master 存在单点故障如何解决?moosefs+drbd+heartbeat

来保证 master 单点问题?不过在使用过程中不可能完全不关机和间歇性的网络中断!

2. 体系架构存储文件总数的可遇见的上限。(mfs 把文件系统的结构缓存到 master 的内存中,文

件越多,master 的内存消耗越大,8g 对应 2500w 的文件数,2 亿文件就得 64GB 内存 )。

master 服务器 CPU 负载取决于操作的次数,内存的使用取决于文件和文件夹的个数。 继续阅读“Moosefs 分布式存储(一)———Moosefs 存储原理-plumxx99-ChinaUnix博客”

关于Openstack的分布式存储,我关注Ceph,swift,hdfs的功能实现和优缺点，适用场景。

１：存储文件大小：

HDFS、HBase、Hive不太适合存文档、图片大小的文件，HDFS适用于存大文件。

ＳＷＩＦＴ：处理几个G的大文件性能上可能会比HDFS差，因为没有条带化。但遇到很多几兆、几十兆的，这些文件的存储，HDFS就不如SWIFT。所以对于日常文件的单独处理用ＳＷＩＦＴ，集中处理如果达到Ｇ级用ＨＤＦＳ。 继续阅读“Openstack之分布式存储Ceph,swift,hdfs-hiyachen-ChinaUnix博客”

OpenStack Object Storage（Swift）前身是 Rackspace Cloud Files 项目，于 2010 年贡献给 OpenStack 社区，是 OpenStack 最早的两个项目之一。Swift 可在比较便宜的通用硬件上构筑具有极强可扩展性和数据持久性的存储系统，支持多租户，通过 RESTful API 提供对容器（Container）和对象的 CRUD 操作。 继续阅读“OpenStack Swift 存储策略”

SwiftStack因其Object Store软件闻名，近日Swift 2.0的面纱终于被揭开了。在新的版本中，提供了对文件级访问的支持，对于以文件方式访问存储的应用程序，可以很方便的进行集成。（译者注：也即我们通常说的posix支持，由于通过posix访问的程序众多，历史也最久，所以如果提供文件级的访问，会非常便于集成。）SwiftStack 2.0还包括了对OpenStack Swift云平台的一些其他功能的支持。

继续阅读“SwiftStack 2.0新增文件系统网关 为对象存储进军企业级市场铺路 – TechTarget存储”

0.What is swift?

OpenStack Object Storage (Swift) 是用来创建冗余的、可扩展的对象存储（引擎）的开源软件。 swift使用标准化的服务器存储 PB 级的访问数据。它并不是文件系统或者实时的数据存储系统 ，而是一个用于存储永久类型的静态数据的长期存储系统 ，这些数据可以检索、调整、必要时进行更新。最适合存储的数据类型的首要例子是虚拟机镜像，图片存储，邮件存储，存档备份。因为没有中心单元或者主控结点，swift提供了更强的扩展性、冗余和持久性。

继续阅读“Swift云存储特性研究 – 牛皮糖NewPtone – 博客园”

在深入云存储系统Swift核心组件：Ring实现原理剖析和深入云存储系统Swift核心组件：Ring数据结构及构建、重平衡操作两篇博文中，我们详细地分析了Swift中数据的映射机制和具体操作。那么在集群中的每一台存储节点上，Swift是如何实现Account、Container、Object的具体存储呢？本篇旨在分析Storage

node与partition，partition与data间的映射关系在实际存储目录中的以何种格式存储，即怎么存，存什么。

在Storage node上运行着Linux系统并使用了XFS文件系统，逻辑上使用一致性哈希算法将固定总数的partition映射到每个Storage

继续阅读“深入云存储系统Swift存储节点：存储实现分析”

前面我们了解了：

openstack入门之swift基础一：什么是对象存储，对象存储的数据有否可以为10G

openstack入门之swift基础二：三种存储类型比较-文件、块、对象存储

 

通过上面两个帖子，我们打好了基础，就容易理解swift了，可以带着下面问题来阅读：

 

1.swift 是什么？

2.swift 能做什么？

3.swift 不能做什么？

4.什么是结构化数据？

5.swift中Account是什么？

6.swift中Container是什么？

6.swift中Object是什么？ 继续阅读“openstack入门之swift基础三：swift能干什么，不能干什么及相关概念-Swift-about云开发”

上一篇我们讲了openstack入门之swift基础一：什么是对象存储，这里我们进一步了解

我们知道swift是对象存储，那么什么是对象存储，对象存储和其它存储有什么区别。

我们可以带着下面问题来阅读：

1.说一下对象存储结构组成部分？

2.对象存储系统中数据存储的基本单位是什么？

3.对象是文件的数据和一组属性信息的组合，这些属性信息如何定义？

4.对象存储设备为什么具有一定的智能？ 继续阅读“openstack入门之swift基础二：三种存储类型比较-文件、块、对象存储-Swift-about云开发”

swift是openstack组件之一，swift采用对象存储，那么什么是对象存储？我们可以带着这些问题，来阅读回帖中内容：

什么是OSD？

对象存储的优点是什么？

存储对象中通过什么对象方式访问对象？

OSD的主要功能是什么？

对象存储文件系统的关键技术是什么？对象存储的数据有否大小限制？是否可以为10G？ 继续阅读“openstack入门之swift基础一：什么是对象存储，对象存储的数据有否可以以10G为单位-Swift-about云开发”