（1）、在虚拟机中设置静态主机IP
①、获取当前IP地址的网段
②、子网掩码以及网关

③、在虚拟机外部将其Ping通

 

（2）、修改主机名

临时修改
hostname 主机名称
永久修改
sudo vi /etc/sysconfig/network 文件
修改hostname属性

（权限不够时可以通过su root –>sudo vi /etc/sudoers添加权限，如下）

 

 

 

（3）、关闭防火墙
查看防火墙运行状态　　sudo service iptables status
临时关闭防火墙　　sudo service iptables stop

关闭防火墙服务　　sudo chkconfig iptables off/on

（4）、安装远程客户端

1.filezilla.exe
2.SecureCRT
3.notepad++  （NTP.dll插件放入Notepad++\plugins下）

（5）、由于使用的时CentOS6.5自带java版本较低需删除，重新配置jdk1.7

①、卸载已有JDK

1.查看java相关的安装文件
sudo rpm -qa|grep java

2.卸载已安装的java文件
sudo rpm -e –nodeps 文件名1 文件名2 …

②、安装JDk
1.上传JDK的安装包 1.7 （使用filezilla来上传安装包）

2.在/opt目录下新建两个子目录
softwares 存放上传的软件
modules 存放执行的文件

3.进入softwares目录
cd softwares

4.移动上传的文件到该目录
sudo mv ~/jdkxxxxx .
sudo mv ~/hadoopxxxx .

5.将文件解压到modules目录
sudo tar -zxvf jdk-7u80-linux-x64.tar.gz -C ../modules/

6.配置Java的环境变量
sudo vi ~/.bash_profile(环境变量配置文件)，配置内容如下

 

7.使新增内容生效
source ~/.bash_profile

8.查看是否配置成功

 　　java -version  查看已安装的java版本

　　javac 　　查看是否可编译java文件

 

（6）、SSH免登陆
ssh远程访问协议，用于多台虚拟机直接的交互
1.开启ssh免登录
sudo vi /etc/ssh/sshd_config

2.生成ssh免登录的公钥与密钥
ssh-keygen -t rsa （过程中不停回车，设置密码均为空）

 

3.查看隐藏文件
ls -al (~目录下有.ssh文件)

4.保存公钥到authorized_keys文件中
cat id_rsa.pub >> authorized_keys

5.对.ssh目录和authorized_keys进行授权
sudo chmod 600 authorized_keys (.ssh)
sudo chmod 750 .ssh （~目录下）

同时将”/”下的opt改为对应的当前用户名所有（sudo chown -R hadoop:hadoop /opt   [-R]表示循环改变）如下

 

设置主机名对应的ip
sudo vi /etc/hosts
ip地址 主机名

 

6.测试
　　ssh 主机名

　　ssh Master

 (7)、在/opt/modules/hadoop-2.6.5/etc/hadoop下的文件修改

①、core-site.xm下添加

  1. <configuration>
  2.     <property>
  3.         <name>fs.defaultFS</name>
  4.         <value>hdfs://Master:8020</value>
  5.     </property>
  6. 	<property>
  7.         <name>hadoop.tmp.dir</name>
  8.         <value>/opt/modules/hadoop-2.6.5/tmp</value>
  9.     </property>
  10. </configuration>

②、在hadoop-env.sh、mappred-env.sh、yarn-env.sh下修改JAVA_HOME

  1. export JAVA_HOME=/opt/modules/jdk1.7.0_80　　

③、在hdfs-site.xml下修改为：

  1. <configuration>
  2.     <property>
  3.         <name>dfs.replication</name>
  4.         <value>3</value>
  5.     </property>
  6. 	
  7. 	<property>
  8.         <name>dfs.namenode.secondary.http-address</name>
  9.         <value>Master:50090</value>
  10.     </property>
  11. </configuration>

④、搭建集群时，主机要管理所有节点，修改slaves

  1. Master
  2. Slave1
  3. Slave2

⑤、修改yarn-site.xml

  1. <configuration>
  2.  
  3. <!-- Site specific YARN configuration properties -->
  4. 	<property>
  5.         <name>yarn.nodemanager.aux-services</name>
  6.         <value>mapreduce_shuffle</value>
  7.     </property>
  8. 	
  9. 	<property>
  10.         <name>yarn.resourcemanager.hostname</name>
  11.         <value>Master</value>
  12.     </property>
  13.  
  14. </configuration>

　⑥、按同样的方式搭建好其余两台主机，主机名分别叫Slave1和Slave2，不同的是在slave文件中只有各自对应的Slave1和Slave2一个节点，同时修改修改yarn-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>mapreduce.framework.name</name>
  4.         <value>yarn</value>
  5.     </property>
  6. </configuration>

（8）、在三台主机都添加上主机名

　　sudo vi /etc/hosts

　　　　192.168.9.111     Master

　　　　192.168.9.112     Slave1

　　　　192.168.9.113     Slave2

(9)、设置多台主机可直接ssh免登入

　　ssh-copy-id -i ~/.ssh/id_rsa.pub

(10)、删除hadoop-2.6.5下的tmp和logs文件，格式化硬盘，启动hdfs文件系统以及查看开启的节点

　　rm -rf logs

　　rm -rf tmp(这两步三台主机都要进行)

　　bin/hdfs namenode -format    格式化硬盘

　　sbin/start-all.sh　　　　　　 启动HDFS文件关系系统

　　jps 　　　　　　　　　　　　查看开启节点数

（11）、登入http://192.168.9.111:50070查看详细信息，可以看到如下信息，说明三台主机可以正常工作了

 

利用web端实现对HDFS系统的管理

 bin/hdfs dfs -mkdir /user   创建user文件夹

 bin/hdfs dfs -mkdir /user/<username>  创建username文件夹，此处我的是hadoop

bin/hdfs dfs -put etc/hadoop input  将创建的input的复制到HDFS文件管理系统中

其中Dao的写法如下：

  1. package com.gqx.dao;
  2.  
  3. import java.io.File;
  4. import java.io.IOException;
  5. import java.io.InputStream;
  6. import java.net.URLEncoder;
  7. import java.util.List;
  8.  
  9. import javax.servlet.http.Part;
  10.  
  11. import org.apache.hadoop.conf.Configuration;
  12. import org.apache.hadoop.fs.FSDataInputStream;
  13. import org.apache.hadoop.fs.FSDataOutputStream;
  14. import org.apache.hadoop.fs.FileStatus;
  15. import org.apache.hadoop.fs.FileSystem;
  16. import org.apache.hadoop.fs.Path;
  17.  
  18. public class FileDao {
  19. 	public FileStatus[] getAllFile() throws IOException{
  20. 		System.setProperty("HADOOP_USER_NAME","hadoop");
  21. 		System.setProperty("hadoop.home.dir","D:\\hadoop-2.6.5");
  22. 		Configuration conf = new Configuration();
  23. 		FileSystem fs =FileSystem.get(conf);
  24. 		FileStatus[] list =fs.listStatus(new Path("/user/hadoop/input"));
  25. 		return list;
  26. 	}
  27.  
  28. 	public boolean delete(String name) throws IOException{
  29. 		System.setProperty("HADOOP_USER_NAME","hadoop");
  30. 		System.setProperty("hadoop.home.dir","D:\\hadoop-2.6.5");
  31. 		Configuration conf = new Configuration();
  32. 		FileSystem fs =FileSystem.get(conf);
  33. 		return fs.delete(new Path("/user/hadoop/input/"+name),true);
  34. 	}
  35.  
  36. 	public boolean upload(Part part) throws IOException{
  37. 		System.setProperty("HADOOP_USER_NAME","hadoop");
  38. 		System.setProperty("hadoop.home.dir","D:\\hadoop-2.6.5");
  39. 		//创建HDFS文件系统
  40. 		Configuration conf = new Configuration();
  41. 		FileSystem hadoopFS= FileSystem.get(conf);
  42. 		InputStream in=part.getInputStream();
  43. 		Path path = new Path("/user/hadoop/input");
  44. 		FSDataOutputStream fsout=hadoopFS.create(new Path(path+"/"+part.getSubmittedFileName()));
  45. 		byte[] buf=new byte[1024];
  46. 		int readbytes=0;
  47. 		while((readbytes=in.read(buf))>0){
  48. 			fsout.write(buf,0,readbytes);
  49. 		}
  50. 		in.close();
  51. 		fsout.close();
  52. 		return true;
  53. 	}
  54.  
  55. 	public FSDataInputStream download(String name) throws IOException{
  56. 		System.setProperty("HADOOP_USER_NAME","hadoop");
  57. 		System.setProperty("hadoop.home.dir","D:\\hadoop-2.6.5");
  58. 		//创建HDFS文件系统
  59. 		Configuration conf = new Configuration();
  60. 		FileSystem hadoopFS= FileSystem.get(conf);
  61. 		// 如果文件名是中文，需要进行url编码
  62. 		FSDataInputStream fsin = hadoopFS.open(new Path("/user/hadoop/input/"+name));
  63. 		return fsin;
  64. 	}
  65.  
  66. }　　

文件下载的servlet如下：

  1. package com.gqx.servlet;
  2.  
  3. import java.io.IOException;
  4. import java.io.OutputStream;
  5. import java.net.URLEncoder;
  6.  
  7. import javax.servlet.ServletException;
  8. import javax.servlet.annotation.WebServlet;
  9. import javax.servlet.http.HttpServlet;
  10. import javax.servlet.http.HttpServletRequest;
  11. import javax.servlet.http.HttpServletResponse;
  12.  
  13. import org.apache.hadoop.fs.FSDataInputStream;
  14.  
  15. import com.gqx.dao.FileDao;
  16.  
  17. /**
  18.  * Servlet implementation class DownloadServlet
  19.  */
  20. @WebServlet("/DownloadServlet")
  21. public class DownloadServlet extends HttpServlet {
  22. 	private static final long serialVersionUID = 1L;
  23.        
  24.     /**
  25.      * @see HttpServlet#HttpServlet()
  26.      */
  27.     public DownloadServlet() {
  28.         super();
  29.         // TODO Auto-generated constructor stub
  30.     }
  31.  
  32. 	/**
  33. 	 * @see HttpServlet#doGet(HttpServletRequest request, HttpServletResponse response)
  34. 	 */
  35. 	protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
  36. 		// TODO Auto-generated method stub
  37. 		String name=request.getParameter("name");
  38. 		FileDao dao = new FileDao();
  39. 		//name = URLEncoder.encode(name, "UTF-8");
  40. 		FSDataInputStream fsin = dao.download(name);
  41. 		System.out.println(name);
  42. 		response.setHeader("content-disposition", "attachment;fileName=" + 
  43. 				new String(name.getBytes("GBK"),"ISO-8859-1"));
  44. 		OutputStream out = response.getOutputStream();
  45. 		byte[] b = new byte[1024];
  46. 		int len=-1;
  47. 		while((len=fsin.read(b)) != -1){
  48. 			out.write(b,0,len);
  49. 		}
  50. 		out.close();
  51. 		fsin.close();
  52. 	}
  53.  
  54. 	/**
  55. 	 * @see HttpServlet#doPost(HttpServletRequest request, HttpServletResponse response)
  56. 	 */
  57. 	protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
  58. 		// TODO Auto-generated method stub
  59. 		doGet(request, response);
  60. 	}
  61.  
  62. }

　　

文件的目录和最终效果如下

 

 

 

 

 

　　

　　

 

版权声明：本文为helloworldcode原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/helloworldcode/p/8297111.html