Hadoop的源码编译
目录
正文
1、准备阶段
使用root登录Centos，并且要求能够正常连接网络。配置清单如下：
（1）hadoop-2.7.2-src.tar.gz
（2）jdk-8u144-linux-x64.tar.gz
（3）apache-ant-1.9.9-bin.tar.gz（build工具，打包用的）
（4）apache-maven-3.0.5-bin.tar.gz
（5）protobuf-2.5.0.tar.gz（序列化的框架）
1.1、下载Hadoop源码包
https://hadoop.apache.org/releases.html
1.2、安装、配置maven
tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/
配置maven镜像源
vi conf/settings.xml
添加以下内容
<mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror>
配置maven环境变量
vi /etc/profile
添加一下内容
#MAVEN_HOME export MAVEN_HOME=/opt/module/apache-maven-3.0.5 export PATH=$PATH:$MAVEN_HOME/bi
使得配置信息生效
source /etc/profile
验证maven是否安装成功：
[root@hadoop-102 software]# mvn -version Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 08:51:28-0500) Maven home: /opt/module/apache-maven-3.0.5 Java version: 1.8.0_144, vendor: Oracle Corporation Java home: /opt/module/jdk1.8.0_144/jre Default locale: en_US, platform encoding: UTF-8 OS name: "linux", version: "3.10.0-957.el7.x86_64", arch: "amd64", family: "unix" You have new mail in /var/spool/mail/root [root@hadoop-102 software]#
1.3 、安装、配置Ant
[root@hadoop-102 software]# tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module/
[root@hadoop-102 software]# vi /etc/profile
#ANT_HOME
export ANT_HOME=/opt/module/apache-ant-1.9.9
export PATH=$PATH:$ANT_HOME/bin
[root@hadoop-102 software]# source /etc/profile
[root@hadoop-102 software]#
[root@hadoop-102 software]# ant -version
Apache Ant(TM) version 1.9.9 compiled on February 2 2017
[root@hadoop-102 software]#
1.4、安装glibc-headers 和 gcc-c++
[root@hadoop-102 software]# yum -y install glibc-headers
[root@hadoop-102 software]# yum install gcc-c++
1.5、安装make和cmake
[root@hadoop-102 software]# yum install make [root@hadoop-102 software]# yum install cmake
1.6、编译安装protobuf
[root@hadoop-102 software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/ [root@hadoop-102 software]# cd /opt/module/protobuf-2.5.0/ [root@hadoop-102 protobuf-2.5.0]# [root@hadoop-102 protobuf-2.5.0]#./configure [root@hadoop-102 protobuf-2.5.0]# make [root@hadoop-102 protobuf-2.5.0]# make check [root@hadoop-102 protobuf-2.5.0]# make install [root@hadoop-102 protobuf-2.5.0]# ldconfig
配置环境变量：
[root@hadoop-102 protobuf-2.5.0]# vi /etc/profile #LD_LIBRARY_PATH export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0 export PATH=$PATH:$LD_LIBRARY_PATH [root@hadoop-102 protobuf-2.5.0]# source /etc/profile [root@hadoop-102 protobuf-2.5.0]# protoc --version libprotoc 2.5.0
1.7、安装openssl和 ncurses-devel库
[root@hadoop-102 ~]# yum -y install openssl-devel [root@hadoop-102 ~]# yum -y install ncurses-devel
jdk的安装时，解压后配置环境变量，这里就不在赘述。
2、编译Hadoop
2.1、解压源码包
[root@hadoop-102 hadoop-2.7.2-src]# tar -zxvf hadoop-2.7.2-src.tar.gz -C /opt/ [root@hadoop-102 software]# cd /opt/hadoop-2.7.2-src/ [root@hadoop-102 hadoop-2.7.2-src]#
2.2、编译
切入到解压后的目录中，执行：
mvn package -Pdist,native -DskipTests -Dtar
2.3、查看编译结果
编译完成后，hadoop包在/opt/hadoop-2.7.2-src/hadoop-dist/target目录下。
3、编译源码过程中常见的问题及解决方案
（1）MAVEN install时候JVM内存溢出
处理方式：在环境配置文件和maven的执行文件均可调整MAVEN_OPT的heap大小。
（详情查阅MAVEN 编译 JVM调优问题，如：http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method）
（2）编译期间maven报错。可能网络阻塞问题导致依赖库下载不完整导致，多次执行命令（一次通过比较难）：
mvn package -Pdist,nativeN -DskipTests -Dtar
（3）报ant、protobuf等错误，插件下载未完整或者插件版本问题，最开始链接有较多特殊情况，同时推荐
2.7.0版本的问题汇总帖子 http://www.tuicool.com/articles/IBn63qf