博客标题起的真别扭。。
先说两点:
1.用cygwin伪分布式环境运行的。
2.hadoop开发者第一期里有个DFSOperator的示例,那个更简单,怎么打jar包,怎么运行之类的问题可以先参见一个那篇文章。
运行WordCount示例遇到了两个问题:
a. ***/work/tmp does not exist的问题
解决办法:配置conf/mapred-site.xml文件中mapred.child.tmp属性的值,如下:
<property>
<name>mapred.child.tmp</name>
<value>/hadoop/childtmp</value>
</property>
原因貌似是运行hadoop需要临时目录存储中间数据。
b. map100%,reduce0%的问题
解决办法:在/etc/hosts下加上本机器的名字和ip即可。
下边说一下运行过程:
1.准备一些测试数据,例如input1.txt和input2.txt
2.新建输入目录,将测试数据put进去。
3.运行./hadoop jar wordcount.jar WordCount input output,这里会自动新建output目录,如果之前已存在,会报FileAlreadyExistsException,这时需要./hadoop fs -rmr output删掉它(觉得这里有点奇怪,求解答)。
4.查看运行结果。
下一篇开始转战ubuntu,不在纠结windows了。
- 大小: 34 KB
- 大小: 16.3 KB
- 大小: 126.5 KB
- 大小: 29.7 KB
分享到:
相关推荐
文档详细的描述了Hadoop在Linux上的安装过程,并且附带了Wordcount程序示例
Hadoop的安装与配置及示例wordcount的运行
在hadoop平台上,实现词频统计(WordCount),指令很详细
Hadoop集群中运行的基础示例WordCount
大数据实验报告Hadoop编程实现wordcount单词统计程序附源码.doc
wordcount-mapreduce Hadoop MapReduce WordCount 示例应用程序
hadoop入门级的代码 Java编写 eclipse可运行 包含 hdfs的文件操作 rpc远程调用的简单示例 map-reduce的几个例子:wordcount 学生平均成绩 手机流量统计
主要介绍了hadoop的wordcount实例代码,分享了相关代码示例,小编觉得还是挺不错的,具有一定借鉴价值,需要的朋友可以参考下
windows平台上,使用Eclipse hadoop插件,开发基于hdfs文件的中文分词统计和排序功能,以唐诗三百首为例,找出其中使用频率最高的词语。
hadoop-wordcount-eg Hadoop WordCount 示例 - Maven 项目Hadoop 以文件系统作为输入和输出使用“现有 Maven 项目”在 Eclipse 中导入项目定位类 WordCountFileSystem 将 inputPath 更改为包含要分析的文件的目录...
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算...1、Hadoop示例程序WordCount详解及实例2、hadoop学习笔记:mapreduce框架详解3、hadoop示例程序wo
MapReduceExample 下建立新包 com.xijing.mapreduce,模仿内置的 WordCount 示例,自己编写一个 WordCount 程序,最后打包成 JAR 形式并在 Hadoop 集群上运行该 MR-App,查看运行结果。 4 分别在自编 MapReduce 程序...
大数据入门程序,便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等
hadoop wordCount 示例报nullPointException,添加环境变量hadoop_home,在c:\window\system32中添加hadoop.dll
hadoop学习---运行第一个hadoop实例。hadoop环境搭建好后,运行第wordcount示例
手把手教你如何搭建一个hadoop集群,每一步骤都详细讲解。并且也列出了如何在windows下利用eclipse连接hadoop...并以一个最简单的wordcount示例作为结束。相信你看完此文档后,就能马上着手开发最简单的hadoop应用了。
本文从零起步构建Hadoop单机版本和伪分布式的开发环境,涉及: 1, 开发Hadoop需要的基本软件;...3, 配置Hadoop单机模式并运行Wordcount示例; 4, 配置Hadoop伪分布式模式并运行Wordcount示例;
这个样板框架代码包含一个 Driver、一个 Mapper 和一个 Reducer,可以用您的代码修改(它们包含经典的 wordcount 示例)。 在您可以找到有关如何在 Eclipse 中导入项目并对其进行修改的说明,以及有关 Hadoop 作业...
字数公共会话 Hadoop 实践中的 wordcount 示例
wordCount示例为hadoop