先说明两点:
1.搭建的基本过程参见Hadoopor论坛的Hadoop开发者杂志第一期,很靠谱。
2.本文以下内容全部经过个人验证。
搭建环境过程中出现的问题:
a.安装cygwin时源URL的选择
参照Hadoop开发者论坛,如下:
但实际上该源并不能使用。
推荐:在URL里输入:http://mirrors.163.com/cygwin/,点击Add按钮,然后选中 http://mirrors.163.com/cygwin 进行安装。
b.JAVA_HOME问题
在hadoop-env.sh 中设定JDK 的安装目录,例如:
export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_13,注意去掉该行前边的#,看似微小的问题,很多人在这里浪费了时间。另外,不建议安装JDK到Program Files文件下,可能导致奇怪问题。
c.经典的INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s)问题
现在Hadoopor论坛好多人还在纠结,当时自己也花费了不少精力解决这个问题,这里做一下解答,感谢论坛里曾经帮助自己的前辈。
原因:hadoop默认配置是把一些tmp文件放在/tmp目录下,重启后,tmp目录下的东西被删除,所以报错。
解决方法:在conf/core-site.xml中修改hadoop.tmp.dir属性的值,即换一个路径。例如,我修改为:
<property>
<name>hadoop.tmp.dir</name>
<value>/home/${user.name}/cloudera-data</value>
<description>A base for other temporary directories</description>
</property>
然后格式化namenode,重启hadoop即可。
截几张图片:
a.启动hadoop
b.用jps命令查看
c.输入./hadoop fs -ls /
by the way,我的hadoop版本是0.20.2
- 大小: 59.4 KB
- 大小: 47.6 KB
- 大小: 6.9 KB
- 大小: 24 KB
分享到:
相关推荐
但是我在安装过程中碰到的一些问题, 没有在任何一个可找到的网页中得到全部解决。 例如,我们一开始选择的是Hadoop 1.0.0版本, 这个版本我让课题组的学生在Linux环境上搭建过(0.22.0版本也搭建过), 也是伪分布...
windows下搭建hadoop开发环境(Eclipse)
windows下搭建hadoop2.6开发环境详细说明,包括各种错误解决方法及参考文档;包括所需插件及测试代码
资源中具体对Hadoop HA平台搭建过程中出现的问题给出了相应的解决办法,图文结合,适合新手学习来用,如果遇到其他,欢迎交流学习
在windows下搭建hadoop2开发环境小案例,使用了ant技术
Windows下搭建Hadoop开发环境
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
Hadoop环境搭建Hadoop环境搭建 Hadoop环境搭建
windows下通过eclipse直接访问hdfs或者调试mapreduce程序需要用到的完整环境
安装hadoop的时候或者使用的时候,会出现hadoop常见问题及解决方法
windows下hadoop2.7.3环境问题的解决,亲测win10、win7皆可使用
此文档在hadoop集群搭建完毕之后,在集群之外搭建一个hadoop集群的开发环境,用于编写hadoop实际处理程序,还包括了如何提交任务等。整体非常详细,如需要其他hadoop集群搭建资源可以联系我,免费给q:1487954071
Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
linux搭建hadoop环境,介绍如何搭配hadoop
Hadoop的windows环境搭建依赖jar包,搭建方式可以参考我的博客
用了不到一个星期的时间,...现将学习中遇到的一些问题记录了下来。 分数确实有点高,不过我相信它确实是值得的。 可能会遇到的问题,这里面应该都有所提及。 没有提及的,解决不了的,欢迎站内私信给我,一起共同解决。
windows环境下的hadoop3.1.0依赖,winutils
Hadoop使用常见问题以及解决方法,简单实用