Hive如何加载和导入HBase的数据

奋斗吧

擅长邻域：未填写

标签： Hive如何加载和导入HBase的数据 jQuery博客 51CTO博客

2023-07-24 18:24:47 102浏览

Hive如何加载和导入HBase的数据，当我们用HBase存储实时数据的时候，如果要做一些数据分析方面的操作，就比较困难了，要写MapReduceJob。 H

当我们用HBase 存储实时数据的时候，如果要做一些数据分析方面的操作，就比较困难了，要写MapReduce Job。 Hive 主要是用来做数据分析的数据仓库，支持标准SQL 查询，做数据分析很是方便，于是便很自然地想到用Hive来载入HBase的数据做分析，但是很奇怪地是，上网查了一下，只看到以下两种情况：
1. 如何用Hive 往HBase里面插入大量的数据。
2. Hive 与HBase集成，直接从Hive里面连HBase的数据库进行查询。参考链接： https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
选项1是我们需求的逆操作，直接忽略，选项2, 虽然没有做专门的Benchmark, 但总感觉直接对HBase进行查询操作不怎么靠谱，如果我们要频繁做很多类型的数据分析，那HBase的压力一定会倍增。
难道没有把HBase里面的数据直接导入到Hive当中的工具或者方法吗？
找了一会，似乎没找到，那么只好自己想一个解决方案了。
思路：
利用选项2, 先打通Hive对HBase指定表的全表访问，再建立一个新的空表，把查询出来的数据全部导入到新表当中，以后的所有数据分析操作在新表中完成。
说干就干，让我们试一个简单的例子。

首先在HBase里面建一个表，名为 student，包含 id 和 name 两个column.

1.
      hbase shell 
     
 
      2. 
     
 
      3.
      create 'student', '
      id
      ', 'name'

向表中插入两行数据

1.
      put 'student', 'row1', '
      id
      :val', '1' 
     
 
      2.
      put 'student', 'row1', 'name:val', 'Tony' 
     
 
      3.
      put 'student', 'row2', '
      id
      :val', '2' 
     
 
      4.
      put 'student', 'row2', 'name:val', 'Mike'

注意：在插入数据的时候一定要指定column (如id:val, name:val) 直接使用column family (如 id, name) 去存数据会导致后面Hive 建表的时候有问题。

扫描此表，确定数据已经插入

1.
      scan 'student' 
     
 
      2.
      ROW                               COLUMN+CELL                                                                                     
     
 
      3.
      row1                             column=
      id
      :val, timestamp=1384939342989, value=1                                                 
     
 
      4.
      row1                             column=name:val, timestamp=1384939365511, value=Tony                                            
     
 
      5.
      row2                             column=
      id
      :val, timestamp=1384939351444, value=2                                                 
     
 
      6.
      row2                             column=name:val, timestamp=1384939379245, value=Mike

建立Hive 对HBase的访问

参考： https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

1.
      hive --auxpath /usr/lib/gphd/hive/lib/hive-hbase-handler-0.11.0-gphd-2.1.1.0.jar,/usr/lib/gphd/hbase/hbase.jar,/usr/lib/gphd/zookeeper/zookeeper.jar,/usr/lib/gphd/hbase/lib/guava-11.0.2.jar -hiveconf hbase.zookeeper.quorum=centos62-3,centos62-4,centos62-5

解释一下参数：

后面三个jar 包主要是Hive 访问时需要用到的， hhbase.zookeeper.quorum=centos62-3,centos62-4,centos62-5 是指hbase使用的是这三个zookeeper, 这样就不用指定hbase master了。

这个命令运行完以后会打开Hive 的输入终端。

从Hive建立可以访问HBase的外部表

1.
      CREATE EXTERNAL TABLE student(key string, 
      id 
      int, name string) 
     
 
      2.
      STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
     
 
      3.
      WITH SERDEPROPERTIES (
      "hbase.columns.mapping" 
      = 
      "id:val,name:val"
      ) 
     
 
      4.
      TBLPROPERTIES(
      "hbase.table.name" 
      = 
      "student"
      );

扫描student表，确认访问成功：

1.
      hive&
      gt
      ; 
      select 
      * from student; 
     
 
      2.
      OK 
     
 
      3.
      row1    1    Tony 
     
 
      4.
      row2    2    Mike

但是此时这个表实际上是一个虚拟表，实际的数据还在HBase中。下面需要在Hive中另建一个结构一样的空表，再把数据导出来。

Hive中建立一个新的空表

1.
      CREATE TABLE new_student ( 
     
 
      2.
      key string, 
     
 
      3.
      id 
      INT, 
     
 
      4.
      name STRING) 
     
 
      5.
      ROW FORMAT DELIMITED 
     
 
      6.
      FIELDS TERMINATED BY '\t' 
     
 
      7.
      STORED AS TEXTFILE;

将数据从HBase中导入到新的Hive表中

1.
      hive&
      gt
      ; INSERT OVERWRITE TABLE new_student SELECT * FROM student;

确认新表中数据正确：

1.
      hive&
      gt
      ; 
      select 
      * from new_student; 
     
 
      2.
      OK 
     
 
      3.
      row1    1    Tony 
     
 
      4.
      row2    2    Mike

至此大功告成！

以后所有复杂的数据查询和数据分析都可以在new_student表中完成。

微信公众号：