这边有个项目开始用hadoop来做数据分析,我们拿到一个csv文件,每一列都是双引号.格式如下
“cola1″,”colb1″,”colc1”
“cola2″,”colb2″,”colc2”
现在想问下,在load数据到hive里面怎么过滤掉这个双引号?
—————————–update 20140626—————————-
–能导成CSV的数据，真的需要用Hive吗？导给MySQL是不是更好？
现在还在demo阶段，给了一个csv文件尝试做处理，未来肯定是sqoop去很多上游导数据。
昨天晚上实践了下，解决方法有几种
1)，对csv文件做处理
2)，hive定义inputstream，用正则表达式处理
2.1)cat /home/alex/test/testdata.txt
“1”,”alex”,”dba”
“2”,”james”,”dba”
2.2)hive> create table test_serde(c1 string,c2 string, c3 string) ROW FORMAT SERDE ‘org.apache.hadoop.hive.contrib.serde2.RegexSerDe’ WITH SERDEPROPERTIES (‘input.regex’ = ‘\”(.*)\”,\”(.*)\”,\”(.*)\”‘,’output.format.string’ = ‘%1$s\\001%2$s\\001%3$s’) STORED AS TEXTFILE;
OK
Time taken: 0.09 seconds
2.3)hive> load data local inpath ‘/home/alex/test/testdata.txt’ overwrite into table test_serde; Copying data from file:/home/alex/test/testdata.txt
Copying file: file:/home/alex/test/testdata.txt
Loading data to table default.test_serde
OK
Time taken: 0.185 seconds
2.4)hive> select * from test_serde; OK
1 alex dba
2 james dba
Time taken: 0.057 seconds, Fetched: 2 row(s)
from: http://www.zhihu.com/question/24275275