美国时间2014年10月16日,OpenStack JUNO版本正式发布,这是OpenStack开源云计算项目自2010年创立以来的第10个版本。在过去的6个月里,有18704个代码提交记录,超过133个组织的1419名代码贡献者参与到OpenStack
分类: 大数据、数据挖掘、云计算、机器学习
OpenStack 各个版本的关系_枝叶飞扬_新浪博客
OpenStack调研:OpenStack是什么、版本演变、组件关系(Havana)、同类产品及个人感想 – ZisZ – 推酷
一点调研资料,比较浅,只是觉得部分内容比较有用,记在这里;
首先,关于云计算,要理解什么是SAAS、PAAS、IAAS,这里不述;关于虚拟化,需要知道什么是Hypervisor,这里也不述;
继续阅读“OpenStack调研:OpenStack是什么、版本演变、组件关系(Havana)、同类产品及个人感想 – ZisZ – 推酷”
OpenStack IceHouse版本发布 « OpenStack中国社区
作者:郑晨,OpenStack中国社区,转载请注明出处
美国时间4月17日,OpenStack Icehouse 版本正式发布,这是OpenStack开源云计算项目自2010年创立以来的第9个版本。在过去的6个月里,超过1200名代码贡献者参与到Icehouse的开发当中,比2013年的Havana版本提高了32%,有来自全球超过120家公司与机构的员工参与其中,继续保持快速、和全球化的发展。来自咨询机构Forrester的分析表示,OpenStack已经逐步成为事实上(de facto)的基础架构云(IaaS)标准: 继续阅读“OpenStack IceHouse版本发布 « OpenStack中国社区”
Downloads DMTK(Distributed Machine Learning Toolkit) source and binary
The DMTK framework was build on MPI/ZeroMQ, you should download the libiray from MS-MPI (For Windows), MPICH (For Linux), ZeroMQ.
After installing the library, you should ensure that the path to these dynamic libiries(*.dll or *.so) is defined in your $(PATH) environment variable.
The binary listed below was compile by Visual Studio 2013 (Windows) and g++ 4.8 (Ubuntu 12.04).For more information, please see the Tutorial
Tutorial
继续阅读“Downloads DMTK(Distributed Machine Learning Toolkit) source and binary”
Distributed Machine Learning Toolkit
Distributed Machine Learning Toolkit
#
Distributed machine learning has become more important than ever in this big data era. Especially in recent years, practices have demonstrated the trend that bigger models tend to generate better accuracies in various applications. However, it remains a challenge for common machine learning researchers and practitioners to learn big models, because the task usually requires a large number of computation resources. In order to enable the training of big models using just a modest cluster and in an efficient manner, we release the Microsoft Distributed Machine Learning Toolkit (DMTK), which contains both algorithmic and system innovations. These innovations make machine learning tasks on big data highly scalable, efficient and flexible.
The current version of DMTK includes the following components (more components will be added to the future versions): 继续阅读“Distributed Machine Learning Toolkit”
微软亚洲研究院开源分布式机器学习工具包_Microsoft 微软_cnBeta.COM
为了满足研究人员和开发者日益增长的各种需求,微软亚洲研究院于日前将分布式机器学习工具包(DMTK)通过Github开源。DMTK由一个服务于分布式机器学习的框架和一组分布式机器学习算法构成,是一个将机器学习算法应用在大数据上的强大工具包。
如何评价Google发布的第二代深度学习系统TensorFlow?
Google资深系统专家Jeff Dean在最近的湾区机器学习大会做了 Large-Scale Deep Learning for Inelligent Computer Systems 的演讲。
在大会上,Jeff Dean 解密了谷歌未曾在论文上发表过的第二代深度学习系统TensorFlow。
演讲slides:http://stanford.edu/~rezab/nips2014workshop/slides/jeff.pdf
仔细研读了TensorFlow的开源代码文档和slides,总体感觉是:又一个单机深度学习工具包,并无明显的理论和系统创新,开源版本不支持分布式,所以对大规模深度学习没有用处。
1. 编程模式。采用了一种称作“computation graph”的编程模式,这种模式早在2007年已被微软提出(Dryad, [1]), 后来的Spark采用的也是这种数据流编程模式。这种模式已经在大量实验(如,[2,3])中证明并不非常适合于高效机器学习训练。
2. 数据表示。称作为”Tensor“,统一来表示向量、矩阵、三维及以上张量。这一点也并无新意。大部分机器学习操作的对象(数据或者参数)都是以向量、矩 阵的形式存在的,少部分是张量,这一点做机器学习的人人皆知。Google将它们统一表征成tensor没有问题,但是这里没有任何概念或理论创新。而且 类似的抽象在之前很多系统与工具中已经实现。
3. 开源版本不支持分布式。单机的深度学习工具已经有很多了,Google这次又增加一个。市面上真正缺乏的是能够支持大规模深度学习的分布式框架或系统,而TensorFlow并没有提供。
当然也有值得学习和借鉴的地方: 1)支持多种编程语言; 2)提供了很多深度学习模型库。
[1] Dryad: Distributed Data-Parallel Programs from Sequential Building Blocks
[2] A Comparison of Lasso-type Algorithms on Distributed Parallel Machine Learning Platforms
[3] Petuum: A New Platform for Distributed Machine Learning on Big Data
【重磅】谷歌第二代深度学习系统TensorFlow首次解密(70PDF下载) — 杨静lillian — 传送门
Google资深系统专家Jeff Dean在最近的湾区机器学习大会做了 Large-Scale Deep Learning for Inelligent Computer Systems 的演讲。
在大会上,Jeff Dean 解密了谷歌未曾在论文上发表过的第二代深度学习系统TensorFlow。
继续阅读“【重磅】谷歌第二代深度学习系统TensorFlow首次解密(70PDF下载) — 杨静lillian — 传送门”
什么是 TensorFlow?
TensorFlow 是 Google 开发的用于机器学习/智能的开源软件库
关于 TensorFlow
TensorFlow ™ 是一个开放源码软件库利用数据流图的数值计算。图中的节点表示的数学运算,而图中的边表示多维数据数组 (张量) 传达他们之间。灵活的体系结构允许您将部署到一个或多个 Cpu 或 Gpu 的计算,在桌面、 服务器或移动设备与一个单一的 API。TensorFlow 最初是由研究人员和工程师在谷歌脑团队在 Google 的机器智能研究组织内为进行机器学习和深层神经网络研究,但系统的通用程度足以非常适用于种类繁多的以及其他域。
这个开源版本支持单机设备和移动设备。
What is TensorFlow?
TensorFlow is an Open Source Software Library for Machine Intelligence
About TensorFlow
TensorFlow™ is an open source software library for numerical computation using data flow graphs. Nodes in the graph represent mathematical operations, while the graph edges represent the multidimensional data arrays (tensors) communicated between them. The flexible architecture allows you to deploy computation to one or more CPUs or GPUs in a desktop, server, or mobile device with a single API. TensorFlow was originally developed by researchers and engineers working on the Google Brain Team within Google’s Machine Intelligence research organization for the purposes of conducting machine learning and deep neural networks research, but the system is general enough to be applicable in a wide variety of other domains as well.
This open source release supports single machines and mobile devices.
谷歌发布第二代机器学习系统TensorFlow 完全开源_Google 谷歌_cnBeta.COM
深度学习对计算机科学而言,是有相当深远的影响的。它让尖端科技研究、开发数千万人日常使用的产品成为可能。Google
Research宣布推出第二代机器学习系统TensorFlow,针对先前的DistBelief的短板有了各方面的加强,更重要的是,
它是开源的,任何人都可以用。
KeyStone安装部署笔记
OpenStack中的所有组件称为服务,比如keystone、swift、nova等,不同的服务负责不同的功能,swift负责存储数据对象,nova管理计算实例的生命周期,keystone为其它服务提供认证和授权等,而有些服务是属于共享范畴的,比如Keystone,为OpenStack中的所有其它服务管理者endpoint的目录,并负责认证和授权。 继续阅读“KeyStone安装部署笔记”
openstack常用命令_百度经验
openstack的常用命令 继续阅读“openstack常用命令_百度经验”
openstack环境变量设置:是为keystone身份验证 – pig2的日志 about云开发
centos yum 安装和配置 Keystone — openstack-on-centos documentation
对象存储系统Swift官方文档 – 牛皮糖NewPtone – 博客园
OpenStack Object Storage (Swift) 是用来创建冗余的、可扩展的对象存储(引擎)的开源软件。通过阅读Swift的技术文档,我们可以理解其中的设计的原理和实现的方法 。 继续阅读“对象存储系统Swift官方文档 – 牛皮糖NewPtone – 博客园”
发现 OpenStack: Storage 组件 Swift 和 Cinder
本文将介绍 OpenStack Block (Swift) 和 Object (Glance) 存储,解释它如何融入到整体架构中,并展示它的操作方式。本文还将在介绍这些工具的过程中了解了如何安装、配置和使用各种组件。
本文介绍了 OpenStack Storage,该产品为其他 OpenStack 项目提供了永久存储。 继续阅读“发现 OpenStack: Storage 组件 Swift 和 Cinder”
HDFS文件系统和OpenStack swift对象存储有何不同 – LaoKa – 51CTO技术博客
最近在Quora上有人提到一个问题,有关Hadoop分布式文件系统和OpenStack对象存储的不同。
Openstack测试总结-plumxx99-ChinaUnix博客
1:openstack简介
OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目,
OpenStack是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作。OpenStack支
持几乎所有类型的云环境,项目目标是提供实施简单、
可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施
即服务(IaaS)的解决方案,每个服务提供API以进行集成。O
penStack是一个旨在为公共及
私有云的建设与管理提供软件的开源项目。它的社区拥有超过130家企业及1350位开发者,这些机构与个人都将OpenStack作为基础设
施即服务
(IaaS)资源的通用前端。OpenStack项目的首要任务是简化云的部署过程并为其带来良好的可扩展性。本文希望通过提供必要的指导信息,帮助大家
利用
OpenStack前端来设置及管理自己的公共云或私有云。OpenStack云计算平台,帮助服
务商和企业内部实现类似于 Amazon EC2 和 S3 的云基础架构服务(Infrastructure
as a Service,
IaaS)。OpenStack 包含两个主要模块:Nova 和 Swift,前者是 NASA 开发的虚拟服务器部署和业务计算模块;后者是
Rackspace开发的分布式云存储模块
,两者可以一起用,也可以分开单独用。OpenStack除了有 Rackspace 和 NASA
的大力支持外,还有包括 Dell、Citrix、 Cisco、
Canonical等重量级公司的贡献和支持,
发展速度非常快,有取代另一个业界领先开源云平台 Eucalyptus 的态势。 继续阅读“Openstack测试总结-plumxx99-ChinaUnix博客”