新闻实时分析系统Hive与HBase集成进行数据分析 Cloudera HUE大数据可视化分析
1.Hue 概述及版本下载
1）概述
Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。
2）下载
CDH版本下载
官网下载
2.编译安装
1）解压
tar -zxf hue-3.9.0-cdh5.5.0.tar.gz -C /opt/modules/
2）安装依赖包
依赖包参考此连接。
3）编译
cd hue-3.9.0-cdh5.5.0
make apps
3.Hue 基本配置与服务启动
1）修改配置文件
cd desktop
cd conf
vi hue.ini
#秘钥
secret_key=jFE93j;2[290-eiw.KEiwN2s3[\’d;/.q[eIW^y#e=+Iei*@Mn < qW5o
#host port
http_host=bigdata-pro03.kfk.com
http_port=8888
#时区
time_zone=Asia/Shanghai
2）修改desktop.db 文件权限
chmod o+w desktop/desktop.db
3）启动Hue服务
/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor
4）查看Hue web界面
bigdata-pro03.kfk.com:8888
4.Hue与HDFS集成
1）修改core-site.xml配置文件，添加如下内容
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
2）修改hue.ini配置文件
fs_defaultfs=hdfs://ns
webhdfs_url=http://bigdata-pro01.kfk.com:50070/webhdfs/v1
hadoop_hdfs_home=/opt/modules/hadoop-2.5.0
hadoop_bin=/opt/modules/hadoop-2.5.0/bin
hadoop_conf_dir=/opt/modules/hadoop-2.5.0/etc/hadoop
3）将core-site.xml配置文件分发到其他节点
scp core-site.xml bigdata-pro02.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop
scp core-site.xml bigdata-pro01.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop
4）重新启动hue
/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor
5.Hue与YARN集成
1）修改hue.ini配置文件
resourcemanager_host=rs
resourcemanager_port=8032
submit_to=true
resourcemanager_api_url=http://bigdata-pro01.kfk.com:8088
proxy_api_url=http://bigdata-pro01.kfk.com:8088
history_server_api_url=http://bigdata-pro01.kfk.com:19888
2）重新启动hue
/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor
5.Hue与Hive集成
1）修改hue.ini配置文件
hive_server_host=bigdata-pro03.kfk.com
hive_server_port=10000
hive_conf_dir=/opt/modules/hive-0.13.1-bin/conf
2）重新启动hue
/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor
6.Hue与mysql集成
1）修改hue.ini配置文件
nice_name=”My SQL DB”
name=metastore
engine=mysql
host=bigdata-pro01.kfk.com
port=3306
user=root
password=123456
2）重新启动hue
/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor
7.Hue与HBase集成
1）修改hue.ini配置文件
hbase_clusters=(Cluster|bigdata-pro01.kfk.com:9090)
hbase_conf_dir=/opt/modules/hbase-0.98.6-cdh5.3.0/conf
2）HBase中启动thrift服务
bin/hbase-daemon.sh start thrift
7.Hue使用注意事项
1）hive 启动使用后台启动
nohup bin/hiveserver2 &
2）hue使用稳定版本:hue-3.7.0-cdh5.3.6