大数据学习日志——hbase与hive整合
Hive 1.x将与HBase 0.98.x及更低版本保持兼容，Hive 2.x将与HBase 1.x及更高版本兼容 ，其实直接使用cdh版本就好
如果说版本之间并不兼容，可以尝试编译hive或hbase–》会编译hive
将hbase的表数据映射到hive表中，在hive对数据进行分析、计算
数据还是存在hbase的
hive和hbase之间进行关联，依赖于hive-hbase-handler-1.2.1.jar（注意版本）
首先在hive的hive-site.xml中添加：(注意修改为自己的主机名和hbase-site.xml中是一样的)
<property> <name>hbase.zookeeper.quorum</name> <value>localhost</value> </property>
第一种创建情况
在hive和hbase都没有数据的情况下，创建hive表，并基于hbase存取
CREATE TABLE hive2hbase_table( a int, b int, c string, d string, e string, ) STORED BY \'org.apache.hadoop.hive.hbase.HBaseStorageHandler\' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:b,info:c,info:d,info:e”) TBLPROPERTIES ("hbase.table.name" = "hive2hbase_table");
基本格式如上
存储时候需要org.apache.hadoop.hive.hbase.HBaseStorageHandler，注意hive中有加载上述中相关jar包
字段映射格式也是固定形式，重点：第一个字段是hbase中的rowkey，在映射中第一个字段用:key表示，然后根据顺序将建表字段和hbase的列进行一一映射。
基于hbase的hive表不能通过以下方式将数据加载到hive表中
load data inpath \'xxxx\' into table hive2hbase_table;
即不能通过load文件写入hive表中。只能通过查询已经存在的表然后结合insert进行数据的导入
insert into table hive2hbase_table select * from temp_table;
创建完成后若要直接查询hbase数据需要手动flush，因为数据还在memstore中
第二种创建情况
创建hbase在hive中的映射表（hbase中已经有一张表） ， 映射hbase表数据，hive中创建的表必须是外部表,并且hbase中的rowkey必须要映射到hive中
create external table hbase2hive_table( a int, b string, c int ) STORED BY \'org.apache.hadoop.hive.hbase.HBaseStorageHandler\' WITH SERDEPROPERTIES ("hbase.columns.mapping" = "info:b,info:c") TBLPROPERTIES ("hbase.table.name" = "hbase2hive_table");
注意创建时候，在建立hbase列和hive字段映射时，hbase是不需要写出rowkey，在第一种情况中需要多些:key，此时不需要，但是任然需要在hive中设置一个主键，即建表语句创建字段的第一个字段，默认为主键；其余字段与hbase列按顺序一一对应。
集成的原因和目的：
HBase自身的查询非常有限，仅支持有限的scan get，做不了聚合查询（max avg min max）,也做不了分组 联合（jion） 子查询等
但是Hive是支持的，非常友好，非常强大，只是Hive存储不占优势
可以将数据保存到HBase，但是可以通过hive映射表，使用hql做一些丰富查询
缺点：
此时虽然查询功能丰富了，但是底层的执行依然是mapredcue，会比较的慢，失去了hbase快速查询的优势
集成之后的好处：
数据在hbase中保存，意味着表中的数据在hbase中是可以任意修改的，hive1.4才有支持update
删除操作：
1.如果是hive映射到habse
删除hive中的表，对应hhbase中的会一起被删除
2.如是hbase映射hive 删除hive中的表，是不会影响hbase中的表，这种情况意味着只是hive在habse对应的表中做了一个映射关系而已
在实际操作中有如上所属的使用场景，大量数据存储在hbase中，但是要对数据进行处理时，并不友好，这时候可以将hbase数据映射到hive中，进行sql查询，得到结果以后，便可将hive表给删除。