按照《Hadoop权威指南(第2版)》来说,hadoop的单机模式又叫做独立模式(standalone或者local mode),无需运行任何守护进程(daemon),所有程序都在单个JVM上执行,由于在本机模式下测试和调试MapReduce程序比较方便,因此该模式适宜用在开发阶段

环境及软件

JDK1.7

Hadoop-2.6.0

Ubuntu server 14.04

创建hadoop用户组和hadoop用户

*图中出现的“/home/hadoop已经存在。没有从/etc/skel复制文件”是因为我之前已经建立过一次hadoop账户,所以不会自动生成hadoop的home目录

为hadoop用户添加权限

编辑/etc/sudoers文件

sudo vi /etc/sudoers

在“root    ALL=(ALL:ALL) ALL”下面添加

hadoop  ALL=(ALL:ALL) ALL

然后保存,此时有可能会提示保存不成功,需要添加!强制执行,强制执行即可

 

切换到hadoop帐号登录

 

 

安装SSH并启动

sudo apt-get install openssh-server
sudo /etc/init.d/ssh start

设置免密码登录

生成私钥和公钥

ssh-keygen -t rsa -P ""

执行完命令时候,会提示“Enter file which to save the key”,直接回车即可

这时候在/home/hadoop/.ssh目录下会有一个.ssh文件生成id_rsa和id_rsa.pub两个密钥文件

然后将公钥追加到authorized_keys中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

测试ssh 无密码登录

ssh localhost

出现如下图所示即为成功

exit退出ssh登录

安装JDK,配置环境变量

参考:JAVA笔记整理(二),下载安装JDK

安装hadoop

将hadoop解压至/opt/ hadoop-2.6.0

sudo tar -zxvf hadoop-2.6.0.tar.gz

将文件夹改名为hadoop2.6

sudo mv hadoop-2.6.0/ /opt/hadoop2.6

给hadoop用户添加对该目录的权限

sudo chmod 777 /opt/hadoop2.6

配置环境变量

sudo vi ~/.bashrc

在文件末端添加如下代码并保存

export HADOOP_INSTALL=/opt/hadoop2.6
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

使环境变量生效

source ~/.bashrc

使用hadoop自带的wordcount来验证是否安装成功

  1.在/home/hadoop下创建test文件夹

      2.在test下创建文件一个文本文件,里面写上若干内容,最好字数多一些(可以将hadoop目录下的README.TXT复制过去)

      3进入/opt/hadoop目录下,执行命令

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount /home/hadoop/test /home/hadoop/output

执行如图所示

并且在   /home/hadoop/下生成了output文件夹

 

至此,hadoop单机模式已经安装成功!

 

参考自:

http://www.cnblogs.com/kinglau/p/3794433.html

http://www.cnblogs.com/luwikes/archive/2011/11/03/2234739.html

http://www.powerxing.com/install-hadoop/

《hadoop权威指南 第二版》

版权声明:本文为xs104原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/xs104/p/4484268.html