Hadoop大数据_安装jdk、hadoop
安装jdk
一、开启网络,ifconfig指令查看ip
二、修改主机名
hostnamectl set-hostname hadoop
三、查看防火墙状态并打开防火墙
1.firewall-cmd –state查看防火墙状态
2.systemctl start iptables.service打开防火墙
3.reboot 重启Linux
四、删除已有的jdk
查看java安装版本：java -version
查看java安装包：rpm -qa|grep java
删除java安装包：rpm -e –nodeps 包名
五、安装jdk
1.使用filezilla软件上传jdk到/opt目录
2.解压jdk
cd /opt 跳转到opt目录
tar -zxvf jdk-7u76-linux-x64.tar.gz 解压jdk
六、
将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/opt/jdk1.7.0_76
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
安装Hadoop
一、filezilla上传hadoop安装包,配置文档(hadoop2.2.0伪分布式搭建.txt)
二、解压hadoop安装包
#解压
tar -zxvf hadoop-2.2.0-64bit.tar.gz
三、修改配置文件（5个） 路径:/opt/hadoop-2.2.0/etc/hadoop
第一个：hadoop-env.sh
#在27行修改
export JAVA_HOME=/opt/jdk1.7.0_76
第二个：core-site.xml
<configuration>
<!– 指定HDFS老大（namenode）的通信地址 –>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!– 指定hadoop运行时产生文件的存储路径 –>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.2.0/tmp</value>
</property>
</configuration>
第三个：hdfs-site.xml
<configuration>
<!– 设置hdfs副本数量 –>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四个：mapred-site.xml.template 需要重命名： mv mapred-site.xml.template mapred-site.xml
<configuration>
<!– 通知框架MR使用YARN –>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
第五个：yarn-site.xml
<configuration>
<!– reducer取数据的方式是mapreduce_shuffle –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
四、将hadoop添加到环境变量
vim /etc/profile
export JAVA_HOME=/opt/jdk1.7.0_55
export HADOOP_HOME=/opt/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
五、格式化HDFS（namenode）第一次使用时要格式化
hadoop namenode -format
六、启动hadoop
先启动HDFS
start-dfs.sh
再启动YARN
start-yarn.sh
3.7验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
#查看java的版本
java -version