Hive如何实现DML数据操作、分区表和分桶表

这篇文章主要为大家展示了“Hive如何实现DML数据操作、分区表和分桶表”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Hive如何实现DML数据操作、分区表和分桶表”这篇文章吧。

1、DML数据操作

1.1、数据导入

1.通过load data导入
	load data [local] inpath '数据的path' [overwrite] 
		#[local] ：如果不加该字段表示路径为HDFS。加上local表示本地路径
		#[overwrite] ：如果加该字段第二次导入会覆盖第一次导入的数据。不加会追加
		
	into table 表名 [partition (partcol1=val1,…)];
		#[partition (partcol1=val1,…)] ：指定分区的字段（后面再说）。
		
tip：set hive.exec.mode.local.auto=true; 使用本地模式去跑MR（只有在一定条件下才跑本地不满足还跑集群）


-----------------------------------------------------------
2.通过查询语句向表中插入数据（Insert）

	2.1 直接向表中插入新的数据
		insert into student values(1,'aa');

	2.2 将查询的结果插入到表中(注意：查询的结果的列数和原表的列必须保持一致（列的数量和类型）)
		insert overwrite table 表名 sql语句;


--------------------------------------------------------------
3.查询语句中创建表并加载数据（As Select）
	create table if not exists 表名
	as sql语句;
	
	
	
----------------------------------------------------------------
4.创建表时通过Location指定加载数据路径
	create table if not exists student3(
	id int,
	name string
	)
	row format delimited fields terminated by '/t'
	location '/input';


--------------------------------------------------------------------
5.导入数据（只有导出的数据才能导入）
	注意：表必须不存在，否则会报错
	import table 库名.表名  from 'HDFS导出的路径';

1.2、数据导出

1. insert导出
	insert overwrite [local] directory '路径'
	row format delimited fields terminated by '/t' #指定分隔符
            sql查询语句;
	#local:如果加上该字段导出的路径为本地。如果不加该字段导出的路径为HDFS

    例：
	insert overwrite local directory '/opt/module/hive/datas2' 
	row format delimited fields terminated by '/t'
	select * from db4.student3;

	insert overwrite directory '/output' 
	row format delimited fields terminated by '/t'
	select * from db4.student3;


-------------------------------------------------------------------
2. Hadoop命令导出到本地

	hadoop fs -get '表中数据的路径'  '本地路径'
	hdfs dfs -get '表中数据的路径'  '本地路径'
	在hive客户端中 ：dfs -get '表中数据的路径'  '本地路径'


--------------------------------------------------------------------
3.Hive Shell 命令导出
	bin/hive -e 'select * from 表名;' > 本地路径;


--------------------------------------------------------------------
4 Export导出到HDFS上

	export table 库名.表名 to 'HDFS路径';


--------------------------------------------------------------------
5.Sqoop导出
	后面会提。。。

2、分区表和分桶表

2.1、分区表

一 创建分区表
	create table 表名(
		deptno int, dname string, loc string
	)
	partitioned by (字段名 字段类型) #指定分区字段
	row format delimited fields terminated by '/t';

   案例：
	create table dept_partition(
	deptno int, dname string, loc string
	)
	partitioned by (day string)
	row format delimited fields terminated by '/t';


---------------------------------------------------------------------------------
二 分区表的操作：

	1.添加分区
	alter table 表名 add partition(分区字段名='值') partition(分区字段名='值') .......
	
	2.查看分区
	show partitions 表名;
	
	3.删除分区
	alter table 表名 drop partition(分区字段名='值'),partition(分区字段名='值').......
	
	4.向分区表中添加数据
	load data [local] inpath '路径' [overwrite] into table 表名 partition(分区字段名='值');


---------------------------------------------------------------------------------------
三 创建二级分区表
	create table 表名(
	deptno int, dname string, loc string
	 )
	partitioned by (字段名1 字段类型, 字段名2 字段类型,......)
	row format delimited fields terminated by '/t';

   案例：
	create table dept_partition2(
	deptno int, dname string, loc string
	)
	partitioned by (day string, hour string)
	row format delimited fields terminated by '/t';


   向二级分区表中添加数据（在load数据时如果分区不存在则直接创建）：
	load data local inpath '/opt/module/hive/datas/dept_20200401.log' into table
	dept_partition2 partition(day='20200401', hour='12');

	load data local inpath '/opt/module/hive/datas/dept_20200402.log' into table
	dept_partition2 partition(day='20200401', hour='13');


---------------------------------------------------------------
四 数据和分区的关联方式

	1.执行修复命令
		msck repair table 表名;

	2.方式二：上传数据后添加分区
		alter table 表名 add partition(字段名='值');

	3.方式三：创建文件夹后load数据到分区(会直接创建该分区)
		load data local inpath '/opt/module/hive/datas/dept_20200402.log' into table
		dept_partition2 partition(day='20200401', hour='13');

2.2、分桶表

一 创建分桶表：
	create table 表名(id int, name string)
	clustered by(id) #id:分桶字段。分桶时就会根据此id进行分桶。
	into 桶的数量 buckets
	row format delimited fields terminated by '/t';

   案例：
	create table stu_buck(id int, name string)
	clustered by(id) 
	into 4 buckets
	row format delimited fields terminated by '/t';

   注意：
	 1.在hive的新版本当我们向一个分桶表中load数据时会跑MR
		所以load数据的路径最好放在HDFS上。

	 2.我们分桶的数量要和ReduceTask的数量相等。

	 3.分桶的原则：根据分桶的字段的内容的hashCode值 % 分桶的数量 算出数据应该进入到哪个桶。

以上是“Hive如何实现DML数据操作、分区表和分桶表”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！