在Hive0.11.0版本新引进了一个新的特性,也就是当用户将Hive查询结果输出到文件,用户可以指定列的分割符,而在之前的版本是不能指定列之间的分隔符,这样给我们带来了很大的不变,在Hive0.11.0之前版本我们一般是这样用的:
hive> insert overwrite local directory '/home/wyp/Documents/result' hive> select * from test;
保存的文件列之间是用^A(\x01)来分割
196^A242^A3 186^A302^A3 22^A377^A1 244^A51^A2
注意,上面是为了显示方便,而将\x01写作^A,在实际的文本编辑器我们是看不到^A的,而是一个奇怪的符号。
现在我们可以用Hive0.11.0版本新引进了一个新的特性,指定输出结果列之间的分隔符:
hive> insert overwrite local directory '/home/wyp/Documents/result' hive> row format delimited hive> fields terminated by '\t' hive> select * from test;
再次看出输出的结果
196 242 3 186 302 3 22 377 1 244 51 2
结果好看多了。如果是map类型可以用下面语句来分割map的key和value
hive> insert overwrite local directory './test-04' hive> row format delimited hive> FIELDS TERMINATED BY '\t' hive> COLLECTION ITEMS TERMINATED BY ',' hive> MAP KEYS TERMINATED BY ':' hive> select * from src;本博客文章除特别声明,全部都是原创!
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【Hive0.11查询结果保存到文件并指定列之间的分隔符】(https://www.iteblog.com/archives/813.html)
导出到HDFS上使用分隔符为什么不行呢?
这和导出到什么地方没关系,你的导出语句是什么?
INSERT OVERWRITE DIRECTORY '/hive/result/three' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT ...
使用这条语句导出就报错了, 但是改为LOCAL的就可以了,不知道为什么
报什么错呢?是不是路径找不到?
FAILED: ParseException line 1:39 cannot recognize input near 'row' 'format' 'delimited' in select clause 报的这个错,
你那语法是不是错了啊?
我也不清楚,如果在INSERT OVERWRITE DIRECTORY加上LOCAL后, INSERT OVERWRITE LOCAL DIRECTORY后执行是正确的,
使用
INSERT OVERWRITE LOCAL DIRECTORY 'hdfs://hive/result/three' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT ...
看下是不是可以?
试过了,也不行, 感觉官方是不是没有提供导致HDFS上并使用分隔符的,