Hadoop之MapReduce單元測試

來源：懂視網(wǎng) 責(zé)編：小采時(shí)間：2020-11-09 13:20:55

Hadoop之MapReduce單元測試

Hadoop之MapReduce單元測試:通常情況下，我們需要用小數(shù)據(jù)集來單元測試我們寫好的map函數(shù)和reduce函數(shù)。而一般我們可以使用Mockito框架來模擬OutputCollector對(duì)象（Hadoop版本號(hào)小于0.20.0)和Context對(duì)象(大于等于0.20.0)。下面是一個(gè)簡單的WordCount例子：(使用的是新AP

推薦度：

點(diǎn)擊下載本文 文檔為doc格式

導(dǎo)讀Hadoop之MapReduce單元測試:通常情況下，我們需要用小數(shù)據(jù)集來單元測試我們寫好的map函數(shù)和reduce函數(shù)。而一般我們可以使用Mockito框架來模擬OutputCollector對(duì)象（Hadoop版本號(hào)小于0.20.0)和Context對(duì)象(大于等于0.20.0)。下面是一個(gè)簡單的WordCount例子：(使用的是新AP

通常情況下，我們需要用小數(shù)據(jù)集來單元測試我們寫好的map函數(shù)和reduce函數(shù)。而一般我們可以使用Mockito框架來模擬OutputCollector對(duì)象（Hadoop版本號(hào)小于0.20.0)和Context對(duì)象(大于等于0.20.0)。下面是一個(gè)簡單的WordCount例子：(使用的是新API）在開始之

下面是一個(gè)簡單的WordCount例子：(使用的是新API）

在開始之前，需要導(dǎo)入以下包：

1.Hadoop安裝目錄下和lib目錄下的所有jar包。

2.JUnit4

3.Mockito

map函數(shù)：

public class WordCountMapper extends Mapper {
	private static final IntWritable one = new IntWritable(1);
	private Text word = new Text();
	@Override
	protected void map(LongWritable key, Text value,Context context)
	throws IOException, InterruptedException {
	String line = value.toString();	// 該行的內(nèi)容
	String[] words = line.split(";");	// 解析該行的單詞
	for(String w : words) {
	word.set(w);
	context.write(word,one);
	}
	}
}

?reduce函數(shù)：

public class WordCountReducer extends Reducer {
	@Override
	protected void reduce(Text key, Iterable values,Context context)
	throws IOException, InterruptedException {
	int sum = 0;
	Iterator iterator = values.iterator();	// key相同的值集合
	while(iterator.hasNext()) {
	int one = iterator.next().get();
	sum += one;
	}
	context.write(key, new IntWritable(sum));
	}
}

?測試代碼類：

public class WordCountMapperReducerTest {
	@Test
	public void processValidRecord() throws IOException, InterruptedException {
	WordCountMapper mapper = new WordCountMapper();
	Text value = new Text("hello");
	org.apache.hadoop.mapreduce.Mapper.Context context = mock(Context.class);
	mapper.map(null, value, context);
	verify(context).write(new Text("hello"), new IntWritable(1));
	}
	@Test
	public void processResult() throws IOException, InterruptedException {
	WordCountReducer reducer = new WordCountReducer();
	Text key = new Text("hello");
	// {"hello",[1,1,2]}
	Iterable values = Arrays.asList(new IntWritable(1),new IntWritable(1),new IntWritable(2));
	org.apache.hadoop.mapreduce.Reducer.Context context = mock(org.apache.hadoop.mapreduce.Reducer.Context.class);
	reducer.reduce(key, values, context);
	verify(context).write(key, new IntWritable(4));	// {"hello",4}
	}
}

具體就是給map函數(shù)傳入一行數(shù)據(jù)-"hello"

map函數(shù)對(duì)數(shù)據(jù)進(jìn)行處理，輸出{"hello",0}

reduce函數(shù)接受map函數(shù)的輸出數(shù)據(jù)，對(duì)相同key的值求和，并輸出。

已有 0 人發(fā)表留言，猛擊->> 這里<<-參與討論

ITeye推薦

—軟件人才免語言低擔(dān)保赴美帶薪讀研！—

IT 資訊