hive详解
、hive：
——————————————————————————————
·hive解释
hive是建立在hdfs之上，对数据操作分析的工具。hive存储数据结构(schema)在数据库中,处理的数据进入hdfs.
·hive结构
hdfs： 存储真正的数据
Meta store:元数据库：存储表结构（一般是mysql）
Hive QL Peocess English: hive查询处理器
Execution English: 执行引擎（一般是mapreduce）
user interfaces : 命令接口 （如web ui）
·hive流程
大体流程如下：
1提交作业给驱动——>2.编译器编译——3>元数据库从mysql中查出结构——>4.5返回——>6交给执行引擎—
——>7执行作业（mapreduce运行）从hdfs查询——>8.9.10返回结果
二、安装hive(这里把mysql数据库安装在本地)
________________________________________________________
1.下载hive2.1-tar.gz
2.tar开
$>tar -xzvf hive-2.1.0.tar.gz -C /soft //tar开
$>cd /soft/hive-2.1.0 //
$>ln -s hive-2.1.0 hive //符号连接
3.配置环境变量
[/etc/profile]
HIVE_HOME=/soft/hive
PATH=…:$HIVE_HOME/bin
4.验证hive安装成功
$>hive –version
5.配置hive,使用win10的mysql存放hive的元数据.
a)复制mysql驱动程序到hive的lib目录下。
…
b)配置hive-site.xml
复制hive-default.xml.template为hive-site.xml
修改连接信息为mysql链接地址，将${system:…字样替换成具体路径。
[hive/conf/hive-site.xml]
- <property>
- <name>javax.jdo.option.ConnectionPassword</name>
- <value>密码</value>
- <description>password to use against metastore database</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionUserName</name>
- <value>你的用户名</value>
- <description>Username to use against metastore database</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionURL</name>
- <value>jdbc:mysql://ip地址:3306/数据库名字</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionDriverName</name>
- <value>com.mysql.jdbc.Driver</value>
- <description>Driver class name for a JDBC metastore</description>
- </property>
6)在msyql中创建存放hive信息的数据库
mysql>create database hive2 ;
7)初始化hive的元数据(表结构)到mysql中。
$>cd /soft/hive/bin
$>schematool -dbType mysql -initSchema
注意主机防火墙会禁止端口，所以应该添加防火墙例外端口
windows添加防火墙例外端口方法
进入防火墙选择高级设置
入站规则设置
1 选择 入站规则 然后 新建规则，选择 端口，然后下一步
2 选择TCP 选择特定端口 然后输入端口，如有多个端口需要用逗号隔开了 例如: 3306
3 选择允许连接
4 选择配置文件
5 输入规则名称 如：mysqlport
出站规则设置
1 选择出站规则 然后 新建规则，选择 端口，然后下一步
2 选择TCP 选择特定端口 然后输入端口，如有多个端口需要用逗号隔开了 例如: 3306
3 选择允许连接
4 选择配置文件
5 输入规则名称 如：mysqlport