国产99久久精品_欧美日本韩国一区二区_激情小说综合网_欧美一级二级视频_午夜av电影_日本久久精品视频

最新文章專題視頻專題問答1問答10問答100問答1000問答2000關(guān)鍵字專題1關(guān)鍵字專題50關(guān)鍵字專題500關(guān)鍵字專題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關(guān)鍵字專題關(guān)鍵字專題tag2tag3文章專題文章專題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專題3
問答文章1 問答文章501 問答文章1001 問答文章1501 問答文章2001 問答文章2501 問答文章3001 問答文章3501 問答文章4001 問答文章4501 問答文章5001 問答文章5501 問答文章6001 問答文章6501 問答文章7001 問答文章7501 問答文章8001 問答文章8501 問答文章9001 問答文章9501
當(dāng)前位置: 首頁 - 科技 - 知識(shí)百科 - 正文

Hadoop2.0YARNcloudra4.4.0WordCount實(shí)例

來源:懂視網(wǎng) 責(zé)編:小采 時(shí)間:2020-11-09 15:48:39
文檔

Hadoop2.0YARNcloudra4.4.0WordCount實(shí)例

Hadoop2.0YARNcloudra4.4.0WordCount實(shí)例:其他都沒啥 這個(gè) jar都在這里了。 import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache
推薦度:
導(dǎo)讀Hadoop2.0YARNcloudra4.4.0WordCount實(shí)例:其他都沒啥 這個(gè) jar都在這里了。 import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache

其他都沒啥 這個(gè) jar都在這里了。 import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Te

其他都沒啥 這個(gè) jar都在這里了。

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

 public static class TokenizerMapper 
 extends Mapper{
 
 private final static IntWritable one = new IntWritable(1);
 private Text word = new Text();
 
 public void map(Object key, Text value, Context context
 ) throws IOException, InterruptedException {
 StringTokenizer itr = new StringTokenizer(value.toString());
 while (itr.hasMoreTokens()) {
 word.set(itr.nextToken());
 context.write(word, one);
 }
 }
 }
 
 public static class IntSumReducer 
 extends Reducer {
 private IntWritable result = new IntWritable();

 public void reduce(Text key, Iterable values, 
 Context context
 ) throws IOException, InterruptedException {
 int sum = 0;
 for (IntWritable val : values) {
 sum += val.get();
 }
 result.set(sum);
 context.write(key, result);
 }
 }

 public static void main(String[] args) throws Exception {
 Configuration conf = new Configuration();
 String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
 if (otherArgs.length != 2) {
 System.err.println("Usage: wordcount  ");
 System.exit(2);
 }
 Job job = new Job(conf, "word count");
 job.setJarByClass(WordCount.class);
 job.setMapperClass(TokenizerMapper.class);
 job.setCombinerClass(IntSumReducer.class);
 job.setReducerClass(IntSumReducer.class);
 job.setOutputKeyClass(Text.class);
 job.setOutputValueClass(IntWritable.class);
 FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
 FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
 System.exit(job.waitForCompletion(true) ? 0 : 1);
 }
}

導(dǎo)出為Jar包,上傳(發(fā)現(xiàn)這個(gè)版本居然不知道怎么在Eclipse里直接跑,只好上傳了)


./hadoop jar ../etc/hadoop/WordCount.jar /user/hadoop/input /user/hadoop/output

input里是yard02的etc/profile文件

結(jié)果:

!=	1
"$BASH"	2
"$PS1"	1
"/bin/sh"	1
"`id	1
#	6
$i	2
&&	1
'	3
(bash(1),	1
(sh(1))	1
-d	1
-eq	1
-f	1
-r	1
-u`"	1
.	2
...).	1
.profile	1
/etc/bash.bashrc	2
/etc/login.defs.	1
/etc/profile.d	1
/etc/profile.d/*.sh;	1
/etc/profile:	1
0	1
Bourne	2
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH	1
JAVA_HOME=/usr/local/jdk1.7.0_21	1
JRE_HOME=/usr/local/jdk1.7.0_21/jre	1
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH	1
PS1.	1
PS1='#	1
PS1='$	1
PS1='\h:\w\$	1
See	1
The	2
[	7
]	1
];	6
already	1
and	2
ash(1),	1
bash.bashrc	1
by	1
compatible	1
default	2
do	1
done	1
else	2
export	4
fi	6
file	2
for	2
handled	1
i	2
if	6
in	1
is	1
ksh(1),	1
now	1
pam_umask(8)	1
pam_umask.	1
sets	1
shell	1
shells	1
system-wide	1
the	2
then	6
umask	1
unset	1

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文檔

Hadoop2.0YARNcloudra4.4.0WordCount實(shí)例

Hadoop2.0YARNcloudra4.4.0WordCount實(shí)例:其他都沒啥 這個(gè) jar都在這里了。 import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache
推薦度:
標(biāo)簽: 2.0 wo 示例
  • 熱門焦點(diǎn)

最新推薦

猜你喜歡

熱門推薦

專題
Top
主站蜘蛛池模板: 亚洲综合欧美日韩 | 欧美在线观看网站 | 精品国产3p一区二区三区 | 国产一区二区精品久 | 欧美精品一区二区三区久久 | 又黄又爽的视频 | 欧美综合自拍亚洲综合百度 | 国产伊人久久 | 国产日韩欧美中文字幕 | 北条麻妃国产九九九精品视频 | 亚洲一区 中文字幕 久久 | 日韩欧美在线综合网高清 | 一级不卡毛片免费 | 久久国内 | 日韩精品在线免费观看 | 国产国产成人精品久久 | xx欧美| 欧美一区二区三区在线 | 欧美中出在线 | 青青国产成人久久91网 | 国内精品久久久久影院不卡 | 欧美一区二区三区在线 | 国产成人欧美一区二区三区的 | 国产a网站 | 久久精品日日躁夜夜躁欧美 | 欧美国产高清 | 亚洲国产成人精品91久久久 | 欧美色图网站 | 欧美亚洲国产精品第一页 | 日韩成人免费在线 | www.欧美色图| 又粗又硬又大又深又爽动态图 | 亚洲一区在线播放 | 国产在线精品一区二区 | 91视频一区二区三区 | 欧美成人精品一区二区三区 | 国产精彩视频在线观看 | 国产精品路线1路线2路线 | 亚洲欧美国产日本 | 午夜欧美在线 | 欧美日韩亚洲一区二区三区在线观看 |