基于Hadoop的海量视频数据存储及转码系统的研究与设计

来源URL：http://www.doc88.com/p-1075432631727.html

openstack，安装的门槛比较高，而且相当麻烦，很多的安装文档作者省了不少安装步骤。这对初学的人带来了很大的麻烦，也许作者轻易节省一步，就会创成后面的安装失败。而且初学者由于对openstack不是很了解，错误无法排查，因此很多人都在中途放弃对openstack的学习。其实有一个安装工具可以快速的安装openstack,不需要了解openstack各个组件的之间的关系，只需鼠标轻轻一点，就可以完成对openstack的安装；而且还有诸多功能，如对openstack健康检查，查看节点日志等。 继续阅读“一步一步教你安装openstack – jlins – 博客园”

最近再看Openstack相关知识，一直想试试安装一下，可是参考了很多资料，并不如人意。由于一直用的Linux版本为CentOS，大部分Openstack安装都要求在Ubuntu上进行。我也不知到什么原因，并不喜欢Ubuntu，可能是觉得太花哨了，而且总提示更新什么的，好了，废话不多说。 继续阅读“CentOS下一键安装OpenStack_服务器应用_Linux公社-Linux系统门户网站”

Hive的几种常见的数据导入方式

这里介绍四种：

（1）、从本地文件系统中导入数据到Hive表；

（2）、从HDFS上导入数据到Hive表；

（3）、从别的表中查询出相应的数据并导入到Hive表中；

（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 继续阅读“Hive总结（七）Hive四种数据导入方式 – 记录分享每一点进步和成长 – 博客频道 – CSDN.NET”

hadoop + ffmpeg 分布式转码系统实践

　　据估计，到2015年，全世界一半以上的数据将涉及Hadoop–围绕这个开源平台的生态系统日益庞大，这有力地印证了这个惊人的数字。

　　然而，有些人表示，虽然Hadoop是眼下热闹非凡的大数据领域最热话题，但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点，我们暂且不想猜测这个平台未来会如何，也不想猜测彻底改变各种数据密集型解决方案的开源技术未来会如何，而是关注让Hadoop越来越火的实际应用案例。 继续阅读“不看不知道 六个超大规模Hadoop部署案例_云计算前沿技术-中关村在线”

让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。

现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配置如果简单地放几个web应用，显然是奢侈的浪费。就算是用来实现单节点的hadoop，对计算资源浪费也是非常高的。对于这么高性能的计算机，如何有效利用计算资源，就成为成本控制的一项重要议题了。 继续阅读“Hive导入10G数据的测试 | 粉丝日志”

做大数据时，经常需要用到将大量格式化的文本数据导入到hbase中。此处就用到的三种方式：hive类SQL语句方式、importtsv +completebulkload 方式、mapreduce+completebulkload 方式，做下简单示例。其中当属hive类SQL语句方式最简单，首先介绍之：

实例中，我以虚拟话单作为需要导入的数据，格式如下： 继续阅读“HBase导入大数据三大方式之（一）hive类SQL语句方式 – 数据库综合 – 次元立方网 – 电脑知识与技术互动交流平台”

首先建议datanode和tasktracker分开写独立的exclude文件，因为一个节点即可以同时是datanode和tasktracker，也可以单独是datanode或tasktracker。 继续阅读“Hadoop动态添加删除datanode及tasktracker – cuilanbo的专栏 – 博客频道 – CSDN.NET”

一、SecondaryNameNode概念：

    光从字面上来理解，很容易让一些初学者先入为主：SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。ssn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。 继续阅读“配置SecondaryNameNode – I’m Me! – 博客园”

原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

1.内置运算符
1.1关系运算符

运算符	类型	说明
A = B	所有原始类型	如果A与B相等,返回TRUE,否则返回FALSE 继续阅读“hive函数参考手册 – 风生水起 – 博客园”