Hadoop-3.2.1源码编译环境搭建　

一、下载软件安装包(附官下载地址)：　　　

　　　　1、jdk-8u231-linux-x64.tar.gz （hadoop 3.1.3 需要的java版本为 jdk 1.8）

　　　　　　https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

　　　　2、apache-maven-3.6.3-bin.tar.gz（Maven 项目管理工具 版本3.5以上即可，用以编译hadoop源码）

　　　　　　https://maven.apache.org/download.cgi

　　　　3、protobuf-2.5.0.tar.gz（只能使用2.5.0版本，需要把网页拉倒最下面找到2.5.0的版本）

　　　　　　https://github.com/protocolbuffers/protobuf/releases/tag/v2.5.0

　　　　4、cmake-3.18.0.tar.gz（yum安装可能无高版本，提前下载了。编译hadoop 3.1.3至少需要cmake3.1以上，推荐cmake3.7以上，本人使用的是当前最新版1.18）

　　　　　　https://cmake.org/files/v3.13/

　　　　5、apache-ant-1.10.7-bin.tar.gz（可不安装，版本选择1.10.5或者1.10.7即可。PS：1.10.6可能与JDK1.8有一丢丢的冲突）

　　　　　　https://www.apache.org/dist/ant/binaries/

　　　　6、findbugs-3.0.1.tar.gz（可不安装）

　　　　　　https://sourceforge.net/projects/findbugs/

　　　　或者：http://findbugs.sourceforge.net/downloads.html

　　　　7、hadoop-3.2.1-src.tar.gz（最最关键的，需要编译的hadoop源码）

　　　　　　https://hadoop.apache.org/releases.html

二、解压软件包：

　　　　tar -zxvf  压缩包名称

三、源码编译环境搭建：

　　1. 安装配置jdk 

　　　　在主目录中找到 .bash_profile ，在最后追加。

　　　　#java

　　　　　export JAVA_HOME=路径

　　　　　export PATH=$JAVA_HOME/bin:$PATH

　　　　重新启动 ： source .bash_profile

　　　　java -version测试是否安装成功

　　2. 配置Maven 3.6

　　　　在主目录中找到 .bash_profile ，在最后追加。　　　　

　　　　#maven

　　　　　export MAVEN_HOME=路径 

　　　　　export PATH=$MAVEN_HOME/bin:$PATH

　　　　重新启动 ： source .bash_profile

　　　　mvn -v 测试是否安装成功

　　3. yum 安装源码编译相关依赖包 【超级用户下】

　 　　　  1、yum install gcc gcc-c++

　 　　   2、yum install make

　　　　3、yum install autoconf automake libtool curl

　　　　4、yum install lzo-devel zlib-devel openssl openssl-devel ncurses-devel

　　　　5、yum install snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst
　　4. 安装ProtocolBuffer 2.5.0

　　　　　操作 ：  cd protobuf-2.5.0 

　　　　　　　./configure

　　　　　　　make && make install

　　　　　　　ldconfig

　　　　验证是否成功 ： protoc –version测试是否安装成功

　　5. 安装 CMake3.18.0

　　　　　操作 ： cd cmake-3.20.1 

　　　　　　　　./configure

　　　　　　　　make && make install　　　　　

　　　　　　　　ldconfig

　　　　验证是否成功 ：cmake –version测试是否安装成功

　　6. 配置ant-1.10.7 

　　　　　在主目录中找到 .bash_profile ，在最后追加。　　　　

　　　　　　#ant

　　　　　　　export ANT_HOME=路径 

　　　　　　　export PATH=$ANT_HOME/bin:$PATH

　　　　重新启动 ： source .bash_profile

　　　　ant -version 测试是否安装成功

　　7. 配置 findbugs-3.0.1

　　　　在主目录中找到 .bash_profile ，在最后追加。

 　　　　　　#findbugs　　　

　　　　　　export FINDBUGS_HOME=路径 

　　　　　　export PATH=$FINDBUGS_HOME/bin:$PATH

　　　　　　重新启动 ： source .bash_profile 

　　　　　　findbugs -version 测试是否安装成功

　　8. 编译 hadoop 3.1.3

　　　　将进入Hadoop源码路径，执行maven命令

　　　　　　mvn clean package -DskipTests -Pdist,native -Dtar

网页  ：   https://blog.csdn.net/weixin_42768559/article/details/107695350