hbase单机版安装
hbase单机版安装
1. hbase单机版安装
HBase的安装也有三种模式：单机模式、伪分布模式和完全分布式模式。
hbase依赖于Hadoop和Zookeeper。
这里安装的是单机版
1.1. 版本要求
jdk 1.8.0
hadoop： 2.7.7
下载地址：
http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
hbase:2.0.5
下载地址：
http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.0.5/hbase-2.0.5-bin.tar.gz
2. jdk配置
[root@soft ~]# java -version
java version “1.7.0_45”
OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15)
OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)
[root@soft ~]#
它位于/usr/lib/jvm
目前已安装1.7.0，但最好安装一下新版本：
首先检索包含java的列表
yum list java*
检索1.8的列表
yum list java-1.8*
安装1.8.0的所有文件
yum install java-1.8.0-openjdk* -y
[root@soft java]# java -version
openjdk version “1.8.0_212”
OpenJDK Runtime Environment (build
1.8.0_212-b04)
OpenJDK 64-Bit Server VM (build 25.212-b04,
mixed mode)
2.3、配置环境变量
vi /etc/profile
在文件尾部添加如下内容，保存退出
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el6_10.x86_64
export PATH=$JAVA_HOME/bin:$PATH
export
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
3.
hadoop安装
移动到/usr/myprogram下解压
# tar -xvf hadoop-2.7.7.tar.gz
3.1.
profile 文件更改
export HADOOP_HOME=/usr/myprogram/hadoop-2.7.7
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”
export
PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
输入source /etc/profile
查看是否设置成功
[root@soft ~]# hadoop version
Hadoop 2.7.7
Subversion Unknown -r c1aad84bd27cd79c3d1a7dd58202a8c3ee1ed3ac
Compiled by stevel on 2018-07-18T22:47Z
Compiled with protoc 2.5.0
From source with checksum
792e15d20b12c74bd6f19a1fb886490
This command was run using
/usr/myprogram/hadoop-2.7.7/share/hadoop/common/hadoop-common-2.7.7.jar
[root@soft ~]#
3.2.
修改配置文件
在修改配置文件之前，先在root目录下建立一些文件夹。
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
3.2.1.
修改core-site.xml
配置文件均位于hadoop主目录/etc/hadoop下
在<configuration>添加:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://soft:9000</value>
</property>
</configuration>
3.2.2.
修改 hadoop-env.sh
export JAVA_HOME=/usr/java/ jdk1.8.0_144
3.2.3.
修改 hdfs-site.xml
在<configuration>添加:
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the
local filesystem where theNameNode stores the namespace and transactions logs
persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma
separated list of paths on the localfilesystem of a DataNode where it should
store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.2.4.
修改mapred-site.xml
<property>
<name>mapred.local.dir</name>
<value>/root/hadoop/var</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
到此 Hadoop 的单机模式的配置就完成了。
3.3.
hadoop启动
第一次启动Hadoop需要初始化，切换到 /home/hadoop/bin目录下输入
hadoop namenode -format
初始化成功后，可以在/root/hadoop/dfs/name 目录下看见新增了一个current 目录以及一些文件。
[root@soft current]# ls
fsimage_0000000000000000000 fsimage_0000000000000000000.md5 seen_txid
VERSION
切换到/home/hadoop/hadoop3.1.0/sbin目录，启动HDFS
输入：
start-dfs.sh
start-yarn.sh
输入jps:出现以下信息，配置完成
[root@soft sbin]# jps
4898 Jps
4804 NodeManager
3061 DataNode
3945 NameNode
4588 ResourceManager
4383 SecondaryNameNode
当然，也可以看一下它的web界面:
http://192.168.199.129:8088/cluster
管理界面：http://localhost:8088
NameNode界面：http://localhost:50070
HDFS NameNode界面：http://localhost:8042
3.4.
测试
在hdoop主目录下/usr/myprogram/hadoop-2.7.7
mkdir input
拷贝文件ab.txt，内容为一篇英文技术说明
执行
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar
wordcount input output
在同目录下得到output目录：
[root@soft output]# ls
part-r-00000 _SUCCESS
验证成功
3.5.
问题
3.5.1.
问题1
Unable to obtain hostName
Hadoop在格式化HDFS的时候，通过hostname命令获取到的主机名是soft，然后在/etc/hosts文件中进行映射的时候，没有找到
在hosts文件中加上就好
192.168.199.129 localhost soft
3.5.2.
问题2
问题描述：
OpenJDK 64-Bit Server VM warning: If the
number of processors is expected to increase from one, then you should
configure the number of parallel GC threads appropriately using
-XX:ParallelGCThreads=N
问题处理：
在虚拟机的设置中，将处理器的处理器核心数量改成2，重新执行启动命令后，能够正常运行。若还是未能执行成功，可进一步将处理器数量也改成2.
实际中将核心数改为2后正常。
3.5.3.
问题2
util.NativeCodeLoader: Unable to load
native-hadoop library for your platform… using builtin-java classes where
applicable
实质是hadoop的问题，hadoop启动时报错。
需要升级包，具体见问题部分文档。
4.
hbase安装
解压tar-xvf
4.1.
环境配置
修改etc/profile文件
export
HBASE_HOME=/usr/myprogram/hbase-2.0.5/
export
PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HBASE_HOME}/bin:$PATH
source /etc/profile
查看hbase版本hbase version
[root@soft myprogram]# hbase -version
OpenJDK 64-Bit Server VM warning: If the
number of processors is expected to increase from one, then you should
configure the number of parallel GC threads appropriately using
-XX:ParallelGCThreads=N
openjdk version “1.8.0_212”
OpenJDK Runtime Environment (build
1.8.0_212-b04)
OpenJDK 64-Bit Server VM (build 25.212-b04,
mixed mode)
4.2.
修改配置文件
在 root目录下新建文件夹
mkdir /root/hbase
mkdir /root/hbase/tmp
mkdir /root/hbase/pids
4.2.1.
hbase-env.sh
[root@centos0 conf]# vi hbase-env.sh
编辑JAVA_HOME环境变量，改变路径到当前JAVA_HOME变量（一般不用设置，因为其它组件已经设置过）：
export HBASE_MANAGES_ZK=true
说明：
Hbase依赖于zookeeper，所有的节点和客户端都必须能够访问zookeeper。
HBase的安装包里面有自带的ZooKeeper，HBASE_MANAGES_ZK环境变量用来设置是使用HBase默认自带的
Zookeeper还是使用独立的ZooKeeper。
HBASE_MANAGES_ZK为 false 时使用独立的.
HBASE_MANAGES_ZK为 true 时表示使用默认自带的，让Hbase启动的时候同时也启动自带的ZooKeeper。
4.2.2.
hbase-site.xml
进入hbase-2.0.5/conf，编辑hbase-site.xml 文件，添加如下配置
<!– 存储目录 –>
<property>
<name>hbase.rootdir</name>
<value>hdfs://soft:9000/hbase</value>
</property>
<!– zookeeper 集群配置。如果是集群，则添加其它的主机地址 –>
<property>
<name>hbase.zookeeper.quorum</name>
<value>soft</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/root/hbase/tmp</value>
</property>
4.3.
启动hbase
/bin start-hbase.sh
启动后使用jps命令
[root@soft tmp]# jps
79029 SecondaryNameNode
80103 Main
78726 NameNode
79737 HMaster
78856 DataNode
79194 ResourceManager
80236 Jps
79295 NodeManager
进入操作语句执行界面HBASE shell
[root@soft bin]# hbase shell
HBase Shell
Use “help” to get list of
supported commands.
Use “exit” to quit this
interactive shell.
For Reference, please visit:
http://hbase.apache.org/2.0/book.html#shell
Version 2.0.5,
r76458dd074df17520ad451ded198cd832138e929, Mon Mar 18 00:41:49 UTC 2019
Took 0.0056 seconds
hbase(main):001:0> status
1 active master, 0 backup masters, 1
servers, 0 dead, 2.0000 average load
Took 2.9875 seconds
hbase(main):002:0> list
TABLE
0 row(s)
Took 0.2180 seconds
=> []
hbase(main):003:0> list
TABLE
0 row(s)
Took 0.0140 seconds
=> []
hbase(main):004:0>
4.4.
问题
4.4.1.
jar包重复
SLF4J: Class path contains multiple SLF4J
bindings.
SLF4J: Found binding in [jar:file:/home/hbase/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in
[jar:file:/home/hadoop3.1.0/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings
for an explanation.
SLF4J: Actual binding is of type
[org.slf4j.impl.Log4jLoggerFactory]
发现这两个jar重复，移走/删除其中一个即可
[root@soft lib]# mv
slf4j-log4j12-1.7.25.jar /home
4.4.2.
vm环境
OpenJDK 64-Bit Server VM warning: If the
number of processors is expected to increase from one, then you should
configure the number of parallel GC threads appropriately using
-XX:ParallelGCThreads=N
可以运行，估计在运算量加大到需要扩充到更多cpu时会出问题，不过这是测试环境，不需要处理。
4.4.3.
问题3
util.NativeCodeLoader: Unable to load
native-hadoop library for your platform… using builtin-java classes where
applicable
实质是hadoop的问题，hadoop启动时报错。
具体升级过程见问题文档部分。
在升级后仍无法正常运行，关闭hadoop相关进程，重新格式化hadoop，启动hadoop,启动hbase后正常。