MapReduce字数示例

本文概述

• 前提条件
• 执行MapReduce字数统计示例的步骤

在MapReduce单词计数示例中, 我们找出每个单词的频率。在这里, Mapper的作用是将键映射到现有值, 而Reducer的作用是聚合公用值的键。因此, 一切都以键值对的形式表示。

前提条件

• Java安装-使用以下命令检查是否已安装Java。 Java版本
• Hadoop安装-使用以下命令检查是否已安装Hadoop。 Hadoop版本

如果你的系统中未安装其中任何一个, 请按照以下链接进行安装。

www.srcmini02.com/hadoop-installation

执行MapReduce字数统计示例的步骤

• 在本地计算机上创建一个文本文件, 并在其中写入一些文本。 $ nano data.txt

• 检查写在data.txt文件中的文本。 $ cat data.txt

在此示例中, 我们找出此文本文件中每个单词的出现频率。

• 在HDFS中创建一个目录, 用于保存文本文件。 $ hdfs dfs -mkdir / test
• 将data.txt文件上载到HDFS的特定目录中。 $ hdfs dfs -put /home/codegyani/data.txt / test

• 使用Eclipse编写MapReduce程序。

文件：WC_Mapper.java

package com.srcmini;

import java.io.IOException;  
import java.util.StringTokenizer;  
import org.apache.hadoop.io.IntWritable;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapred.MapReduceBase;  
import org.apache.hadoop.mapred.Mapper;  
import org.apache.hadoop.mapred.OutputCollector;  
import org.apache.hadoop.mapred.Reporter;  
public class WC_Mapper extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable>{  
    private final static IntWritable one = new IntWritable(1);  
    private Text word = new Text();  
    public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException{  
        String line = value.toString();  
        StringTokenizer  tokenizer = new StringTokenizer(line);  
        while (tokenizer.hasMoreTokens()){  
            word.set(tokenizer.nextToken());  
            output.collect(word, one);  
        }  
    }  
  
}

文件：WC_Reducer.java

package com.srcmini;
	import java.io.IOException;  
	import java.util.Iterator;  
	import org.apache.hadoop.io.IntWritable;  
	import org.apache.hadoop.io.Text;  
	import org.apache.hadoop.mapred.MapReduceBase;  
	import org.apache.hadoop.mapred.OutputCollector;  
	import org.apache.hadoop.mapred.Reducer;  
	import org.apache.hadoop.mapred.Reporter;  
	  
	public class WC_Reducer  extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {  
	public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {  
	int sum=0;  
	while (values.hasNext()) {  
	sum+=values.next().get();  
	}  
	output.collect(key, new IntWritable(sum));  
	}  
	}

文件：WC_Runner.java

package com.srcmini;

	import java.io.IOException;  
	import org.apache.hadoop.fs.Path;  
	import org.apache.hadoop.io.IntWritable;  
	import org.apache.hadoop.io.Text;  
	import org.apache.hadoop.mapred.FileInputFormat;  
	import org.apache.hadoop.mapred.FileOutputFormat;  
	import org.apache.hadoop.mapred.JobClient;  
	import org.apache.hadoop.mapred.JobConf;  
	import org.apache.hadoop.mapred.TextInputFormat;  
	import org.apache.hadoop.mapred.TextOutputFormat;  
	public class WC_Runner {  
	    public static void main(String[] args) throws IOException{  
	        JobConf conf = new JobConf(WC_Runner.class);  
	        conf.setJobName("WordCount");  
	        conf.setOutputKeyClass(Text.class);  
	        conf.setOutputValueClass(IntWritable.class);          
	        conf.setMapperClass(WC_Mapper.class);  
	        conf.setCombinerClass(WC_Reducer.class);  
	        conf.setReducerClass(WC_Reducer.class);       
	        conf.setInputFormat(TextInputFormat.class);  
	        conf.setOutputFormat(TextOutputFormat.class);         
	        FileInputFormat.setInputPaths(conf, new Path(args[0]));  
	        FileOutputFormat.setOutputPath(conf, new Path(args[1]));   
	        JobClient.runJob(conf);  
	    }  
	}

下载源代码。

• 创建该程序的jar文件, 并将其命名为countworddemo.jar。
• 运行jar文件hadoop jar /home/codegyani/wordcountdemo.jar com.srcmini.WC_Runner /test/data.txt / r_output
• 输出存储在/ r_output / part-00000

• 现在执行命令以查看输出。 hdfs dfs -cat / r_output / part-00000