Hive的数据存储:
1.表:
用于映射文本类型的数据成关系型,每个表对应一个目录,目录下存储的是存储数据的文本。
删除表的时候数据和元数据都会被删除。
2.外部表:
与表类似,但是数据文件不放在自己表所属的目录中,而是放在别处,在定义表的时候用location关键字指定。
删除表的时候,外部数据并不会被删除,只删除对应表的元数据。
3.分区:
相当于对数据的某一属性进行分类,每一分区对应一个文件夹。分区是针对数据文件
划分的而非数据记录,分区下还可以后子分区,以实现数据的多维度划分。
4.桶:
对指定的列去hash值,根据hash值切分数据,目的是为了并行,每个桶对应一个文件。
桶可以直接建立在表下,也可以建立在分区下。
常用命令:
创建表:
create table [if not exists] table_name (
field_name field_type,
)
PARTITIONED BY(field_name field_type)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
stored as textfile;
导入数据:
load data [local] inpath 'file_path' [overwrite] into table table_name [partition (xxx='xxxx')];
导出数据:
INSERT OVERWRITE [LOCAL] DIRECTORY 'file_path' select * from table_name where clause;
查询结果导入表:
INSERT OVERWRITE TABLE table_name select * from table_name where clause;
UDF:
尽管hive为我们提供了大量的函数,但是使用需求是多样的,所以有时我们要自定义函数。
自定义函数需要编写自定义类,类继承自org.apache.hadoop.hive.ql.exec.UDF
maven依赖配置:
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>0.14.0</version>
</dependency>
定义类:
package com.example.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
public class Function extends UDF {
public String evaluate(String text) {
//do something
return "";
}
}
自定义类需要实现名为evaluate的方法,该方法可可重载,UDF只能实现一进一出的操作
将写好的类打包程jar包,有时maven打包会出问题,可按如下手动打包:
javac -cp class_file_path/hive-exec-0.14.0.jar Function.java
jar -cvf Function.jar Function.class
生成jar包后导入hive中就可以使用该函数了:
hive> add jar /home/yourname/Function.jar;
hive> create temporary function my_function as 'com.example.hive.udf.Function';
使用函数:
select my_function(name) from table_name;