编写实现类

首先在hadoop的根目录下新建一个工作目录workspace，即在/usr/local/hadoop执行命令

新建工作目录新建工作目录

接着在workspace目录下编写WordCount.java类

编写WordCount.java编写WordCount.java

WordCount.java代码如下，各位可以自己复制粘帖，在hadoop官方网站上也可以找到。

  1. import java.io.IOException;
  2. import java.util.StringTokenizer;
  3.  
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.fs.Path;
  6. import org.apache.hadoop.io.IntWritable;
  7. import org.apache.hadoop.io.Text;
  8. import org.apache.hadoop.mapreduce.Job;
  9. import org.apache.hadoop.mapreduce.Mapper;
  10. import org.apache.hadoop.mapreduce.Reducer;
  11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  13.  
  14. public class WordCount {
  15.  
  16. public static class TokenizerMapper
  17. extends Mapper<Object, Text, Text, IntWritable>{
  18.  
  19. private final static IntWritable one = new IntWritable(1);
  20. private Text word = new Text();
  21.  
  22. public void map(Object key, Text value, Context context
  23. ) throws IOException, InterruptedException {
  24. StringTokenizer itr = new StringTokenizer(value.toString());
  25. while (itr.hasMoreTokens()) {
  26. word.set(itr.nextToken());
  27. context.write(word, one);
  28. }
  29. }
  30. }
  31.  
  32. public static class IntSumReducer
  33. extends Reducer<Text,IntWritable,Text,IntWritable> {
  34. private IntWritable result = new IntWritable();
  35.  
  36. public void reduce(Text key, Iterable<IntWritable> values,
  37. Context context
  38. ) throws IOException, InterruptedException {
  39. int sum = 0;
  40. for (IntWritable val : values) {
  41. sum += val.get();
  42. }
  43. result.set(sum);
  44. context.write(key, result);
  45. }
  46. }
  47.  
  48. public static void main(String[] args) throws Exception {
  49. Configuration conf = new Configuration();
  50. Job job = Job.getInstance(conf, “word count”);
  51. job.setJarByClass(WordCount.class);
  52. job.setMapperClass(TokenizerMapper.class);
  53. job.setCombinerClass(IntSumReducer.class);
  54. job.setReducerClass(IntSumReducer.class);
  55. job.setOutputKeyClass(Text.class);
  56. job.setOutputValueClass(IntWritable.class);
  57. FileInputFormat.addInputPath(job, new Path(args[0]));
  58. FileOutputFormat.setOutputPath(job, new Path(args[1]));
  59. System.exit(job.waitForCompletion(true) ? 0 : 1);
  60. }
  61. }
Java

编译运行

接着将该WordCount.java文件编译为class文件，在编译之前，还需添加以下环境变量

1. 首先添加JAVA_HOME，因为我用的是系统自带的jdk，所以路径如下图所示：

添加JAVA_HOME环境变量添加JAVA_HOME环境变量

2. 将jdk目录下的bin文件夹添加到环境变量：

将bin文件夹加到环境变量将bin文件夹加到环境变量

3.接着将hadoop_classpath添加到环境变量：

将hadoop_classpath加到环境变量将hadoop_classpath加到环境变量

执行上述步骤后，即可开始编译WordCount.java文件，编译java文件的命令为javac，截图如下：

编译WordCount.java编译WordCount.java

此时，在workspace文件夹下将会出现生成三个class文件，

编译后生成class文件编译后生成class文件

编译成功后，即可将三个class文件打包成jar文件，

打包class成jar文件打包class成jar文件

执行成功后，在workspace文件下生成了WordCount.jar文件，

打包jar完成打包jar完成

接着，在/usr/local/hadoop文件夹下新建一个input文件夹，用于存放数据，

创建input文件夹创建input文件夹

接着cd 到input文件下，执行以下命令，就是将’Hello World Bye World’写进file01文件，将’Hello Hadoop Goodbye Hadoop’ 写进file02文件

创建输入数据创建输入数据

最后运行程序，

运行程序运行程序

期间可以到程序执行的过程，

执行过程执行过程

最后，将output目录下的文件输出，即可到程序运行的结果，

运行结果

 v
版权声明：本文为萧贾jzm原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/jzm20204139/p/16607440.html