大数据革命正以Apache Hadoop为中心如火如荼的进行着。自从开源分布式数据处理平台在5年前发布时讨论之声就不绝于耳。在过去的一年中，Hadoop赢得了客户的认可，并得到众多商业化的支持以及众多数据库和数据集成软件商的整合。 继续阅读“新一代Hadoop大数据挖掘平台和生态介绍 – CSDN – 博客频道 – CSDN.NET”

一 前言

 需要在linux和windows 间互传数据，在windows 上安装cygwin再安装openssh比较麻烦，如果在windows上只安装ssh客户端的话，又无法实现linux往windows上传数据。 继续阅读“mount: unknown filesystem type ‘smbfs’ – duguduchong的专栏 – 博客频道 – CSDN.NET”

mount -t smbfs -o username=”administrator”,password=”” //192.168.1.100/cp /mnt/ntfs

提示出错：
mount: unknown filesystem type ‘smbfs’

查资料后，说smbfs改为cifs了，所以要用下面的方法：

# mount -t cifs -o username=”administrator”,password=”” //192.168.1.101/cp /mnt/ntfs

成功！！

来源URL：http://www.cnblogs.com/yuallen/archive/2010/03/05/1679065.html

mount: unknown filesystem type “smbfs’

今天在使用FC6时，发现mount不了windows的共享盘 继续阅读“mount: unknown filesystem type “smbfs” – 最实用的Linux博客 – 博客频道 – CSDN.NET”

linux是一个优秀的开放源码的操作系统，可以运行在大到巨型小到掌上型各类计算机系统上，随着 linux系统的日渐成熟和稳定以及它开放源代码特有的优越性，linux在全世界得到了越来越广泛的应用。 继续阅读“linux的mount（挂载）命令详解_RedHat/Centos_操作系统_脚本之家”

xxxx.tar.gz文件使用tar带zxvf参数，可以一次解压开。XXXX为文件名。 继续阅读“linux怎样解压.gz文件 – s_k_yliu的专栏 – 博客频道 – CSDN.NET”

遇到这么一个需求，输入数据为一个ID对应多个name，要求输出数据为ID是唯一的，name随便取一个就可以。 继续阅读“Hive取非Group by字段数据的方法 – 推酷”

hive中group by的时候

select col_1,col_2 from table_name group by col_1;

会提示：

FAILED: SemanticException [Error 10025]: Line 1:12 Expression not in GROUP BY key ‘col_2′

这里网上查了下，有两种解决方法：

1、不关心col_2的值，且有多个col_2，那么语句改成

select col_1, collect_set( col_2 )[0] from table_name group by col_1; 继续阅读“hive中group by 提示Expression Not In Group By Key的解决办法 – 黑影子的博客 | 黑影子的博客”

在工作中用hive进行数据统计的时候，遇到一个用group by 进行查询的问题，需要统计的字段为

gid,sid,user,roleid,time,status,map_id,num

其中time字段为时间戳形式的，统计要求为将各个字段按照每个小时的num总数进行统计 继续阅读“hive 中的多列进行group by查询方法 – 东杰书屋 – 博客频道 – CSDN.NET”

今天我们再谈谈Hive中的三种不同的数据导出方式。 继续阅读“Hive总结（八）Hive数据导出三种方式 – 记录分享每一点进步和成长 – 博客频道 – CSDN.NET”

这边有个项目开始用hadoop来做数据分析,我们拿到一个csv文件,每一列都是双引号.格式如下
“cola1″,”colb1″,”colc1”
“cola2″,”colb2″,”colc2”

现在想问下,在load数据到hive里面怎么过滤掉这个双引号? 继续阅读“hadoop hive中怎么导入带引号的csv文件?”

if(!is_dir(‘customimages/album/’.$user_teacher)){

 mkdir(‘customimages/’);

 mkdir(‘customimages/album/’);

 mkdir(‘customimages/album/’.$user_teacher);

 //路径要一层一层来建立，否则会报错Warning: mkdir(): No such file

or directory 路径若不存在则创建

}

来源URL：http://blog.sina.com.cn/s/blog_627002d10101cktk.html

问题导读：

1.导出本地文件系统和hdfs文件系统区别是什么？

2.带有local命令是指导出本地还是hdfs文件系统？

3.hive中，使用的insert与传统数据库insert的区别是什么？

4.导出数据如何自定义分隔符？ 继续阅读“Hive中的三种不同的数据导出方式介绍-Hive-about云开发”

hadoop fs：使用面最广，可以操作任何文件系统。 继续阅读“何时使用hadoop fs、hadoop dfs与hdfs dfs命令 – jediael_lu的专栏 – 博客频道 – CSDN.NET”

编辑这个
/etc/fstab
里面有五栏，
从左到右依次是：
文件系统（可以是卷标）
挂载点
文件系统类型
挂载参数
最后有两个数字，第一个是备份频率，第二个是文件系统检查顺序（英文是fs check order，不知道中文怎么翻。），一般俩零就行了。
编辑完之后保存，重启后就能自动给你挂上了

来源URL：http://zhidao.baidu.com/link?url=qxbyyzZeyrF-hPVn2OGrFRsUTXp1XERdFCLJAnC6UkDjpb_vTdnWhgC8CiQTzS8Kg3HSUDVtG4I1_5hWuDH5ia

错误了，在网上搜索了一下说是没有安装 mount.nfs了，我们只要安装mount.nfs就不会有wrong fs type, bad option, bad superblock错误提示了哦。

今天碰到一个nfs挂载错误的问题，错误提示如下： 继续阅读“nfs挂载错误wrong fs type, bad option, bad superblock-linux-操作系统-壹聚教程网”

Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多，并不复杂，这里不再讲述，接下来阐述怎么安装Mahout。
1：下载二进制解压安装。 继续阅读“Mahout安装与配置 – Ruthless – 博客园”