分类： 大数据、数据挖掘、云计算、机器学习

Hadoop有多火？从业界的一系列举动就可以看出来。包括甲骨文、微软、Sybase在内的主流数据库厂商都纷纷发布了Hadoop连接器产品，为的就是让用户可以在传统关系型数据库与开源分布式处理系统之间更轻松地传输信息。 继续阅读“如何使用Hadoop进入大数据库时代？ – 51CTO.COM”

如今Bigtable型(列族)数据库应用越来越广，功能也很强大。但是很多人还是把它当做关系型数据库在使用，用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。 继续阅读“关系型数据库与HBase的数据储存方式区别 – 推酷”

网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码。

继续阅读“Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境-mchdba-ITPUB博客”

1、Hadoop开发环境简介

1.1 Hadoop集群简介

　　Java版本：jdk-6u31-linux-i586.bin

　　Linux系统：CentOS6.0

继续阅读“Hadoop集群（第7期）_Eclipse开发环境设置 – 虾皮 – 博客园”

基于Hadoop的海量视频数据存储及转码系统的研究与设计

来源URL：http://www.doc88.com/p-1075432631727.html

openstack，安装的门槛比较高，而且相当麻烦，很多的安装文档作者省了不少安装步骤。这对初学的人带来了很大的麻烦，也许作者轻易节省一步，就会创成后面的安装失败。而且初学者由于对openstack不是很了解，错误无法排查，因此很多人都在中途放弃对openstack的学习。其实有一个安装工具可以快速的安装openstack,不需要了解openstack各个组件的之间的关系，只需鼠标轻轻一点，就可以完成对openstack的安装；而且还有诸多功能，如对openstack健康检查，查看节点日志等。 继续阅读“一步一步教你安装openstack – jlins – 博客园”

最近再看Openstack相关知识，一直想试试安装一下，可是参考了很多资料，并不如人意。由于一直用的Linux版本为CentOS，大部分Openstack安装都要求在Ubuntu上进行。我也不知到什么原因，并不喜欢Ubuntu，可能是觉得太花哨了，而且总提示更新什么的，好了，废话不多说。 继续阅读“CentOS下一键安装OpenStack_服务器应用_Linux公社-Linux系统门户网站”

Hive的几种常见的数据导入方式

这里介绍四种：

（1）、从本地文件系统中导入数据到Hive表；

（2）、从HDFS上导入数据到Hive表；

（3）、从别的表中查询出相应的数据并导入到Hive表中；

（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 继续阅读“Hive总结（七）Hive四种数据导入方式 – 记录分享每一点进步和成长 – 博客频道 – CSDN.NET”

hadoop + ffmpeg 分布式转码系统实践

　　据估计，到2015年，全世界一半以上的数据将涉及Hadoop–围绕这个开源平台的生态系统日益庞大，这有力地印证了这个惊人的数字。

　　然而，有些人表示，虽然Hadoop是眼下热闹非凡的大数据领域最热话题，但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点，我们暂且不想猜测这个平台未来会如何，也不想猜测彻底改变各种数据密集型解决方案的开源技术未来会如何，而是关注让Hadoop越来越火的实际应用案例。 继续阅读“不看不知道 六个超大规模Hadoop部署案例_云计算前沿技术-中关村在线”

让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。

现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配置如果简单地放几个web应用，显然是奢侈的浪费。就算是用来实现单节点的hadoop，对计算资源浪费也是非常高的。对于这么高性能的计算机，如何有效利用计算资源，就成为成本控制的一项重要议题了。 继续阅读“Hive导入10G数据的测试 | 粉丝日志”

做大数据时，经常需要用到将大量格式化的文本数据导入到hbase中。此处就用到的三种方式：hive类SQL语句方式、importtsv +completebulkload 方式、mapreduce+completebulkload 方式，做下简单示例。其中当属hive类SQL语句方式最简单，首先介绍之：

实例中，我以虚拟话单作为需要导入的数据，格式如下： 继续阅读“HBase导入大数据三大方式之（一）hive类SQL语句方式 – 数据库综合 – 次元立方网 – 电脑知识与技术互动交流平台”

首先建议datanode和tasktracker分开写独立的exclude文件，因为一个节点即可以同时是datanode和tasktracker，也可以单独是datanode或tasktracker。 继续阅读“Hadoop动态添加删除datanode及tasktracker – cuilanbo的专栏 – 博客频道 – CSDN.NET”

一、SecondaryNameNode概念：

    光从字面上来理解，很容易让一些初学者先入为主：SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。ssn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。 继续阅读“配置SecondaryNameNode – I’m Me! – 博客园”

原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

1.内置运算符
1.1关系运算符

HBase 作为 BigTable 的一个开源实现，随着其应用的普及，越来越被各大企业应用于海量数据系统中。本文将向读者简要介绍 Apache HBase 的基本知识，并展开介绍 IBM 对 HBase 的改进和扩展，HBase Master 多结点高可用支持，以及如何利用 IBM BigInsights 在 IBM Hadoop 集群中对 HBase 服务和作业提交进行监控和管理。本文将帮助读者在大数据云计算 Hadoop 集群应用中利用 HBase 更加高效、直观、便捷地进行存储，查询和优化海量数据。 继续阅读“分布式数据库 Hbase 的高可用管理和监控 – 开源中国社区”

1.hbase有那些管理工具，首先hbase有自带的简单的web界面

2.还有一种HBase图形界面管理工具HBaseXplorer

HBaseXplorer 是一款HBase管理工具,采用JAVA界面方式,查看和管理数据都很发布.

HBaseXplorer原名为 hbase-gui-admin ,是由 zpasal 开发的一款HBase管理工具

下载地址: 继续阅读“hbase有哪些可视化工具,图形界面管理工具-Hbase-about云开发”

Hbase

web展示界面在Release中找不到对应的源代码，我们只能看到Class文件。所以，对于想添加监控信息的同学来说，这一点是远远不够的。那么HBase的web界面是如何组织的呢? 继续阅读“丰富HBase-web监控信息_klose_新浪博客”

问题导读：
1.hadoop编程需要哪些基础？
2.hadoop编程需要注意哪些问题？
3.如何创建mapreduce程序及其包含几部分？
4.如何远程连接eclipse，可能会遇到什么问题？
5.如何编译hadoop源码？ 继续阅读“零基础学习hadoop到上手工作线路指导（编程篇） – pig2的日志 about云开发”