基于前两篇的基础,在ubuntu下搭建hadoop环境及运行wordcount示例的过程比较顺利,现做一下简单记录。
环境:ubuntu10.04 hadoop0.20.2 jdk1.6.0_29
步骤如下:
1.安装JDK并配置环境变量
一些文章里说用sudo apt-get install sun-java6-jdk之类的命令,我对ubuntu比较小白,半天也没折腾出来,然后就直接去oralce的官网下了linux版本的jdk。
配置环境变量:
sudo gedit /etc/profile
在最后边追加:
#set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_29
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
别忘了用echo和java -version验证以下。
2.添加用户组和用户,都取名hadoop,新用户hadoop不能执行sudo命令。
sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop
3.配置ssh
sudo apt-get install openssh-server //安装openssh-server
su - hadoop //切换到hadoop用户
ssh-keygen -t rsa -P "" //生成ssh key
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys //设置允许ssh访问
设置完成后通过ssh localhost测试一下。
4.关掉ipv6
修改hadoop根目录下conf/hadoop-env.sh文件(还没下载hadoop的下载解压先~)
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
5.将hadoop目录所有者更改为用户hadoop
sudo chown -R hadoop:hadoop /usr/hadoop-0.20.2
6.安装hadoop
过程同windows下基本一致,详见之前的文章。还是要
注意两点:a.设置core-site.xml中hadoop.tmp.dir的值,我设为/home/hadoop/tmp。b.把hadoop-env.sh中JAVA_HOME前边的#去掉。
7.格式化namenode
./hadoop namenode -format
8.启动hadoop
./start-all.sh
9.启动成功后,用jps查看下。
10.运行WordCount吧!少年!
wordcount示例运行详见前边的文章,但是并没有出现在windows下出现的那两个问题。
参考博客:
http://www.cnblogs.com/end/archive/2011/04/19/2021536.html
http://www.hadoopor.com/thread-2674-1-1.html
- 大小: 23 KB
分享到:
相关推荐
ubuntu搭建hadoop单节点.docx
在linux环境下部署的Hadoop集群-WordCount运行详解。
Hadoop环境搭建及wordcount实例运行.pdf
Hadoop 用mapreduce实现Wordcount实例,绝对能用
Hadoop集群中运行的基础示例WordCount
Hadoop集群-WordCount运行详解.pdf Hadoop,Hadoop集群,WordCount,pdf
大数据实验报告Hadoop编程实现wordcount单词统计程序附源码.doc
基于之前“搭建hadoop-1.2.1环境”搭建的hadoop环境,运行wordcount例子
文档详细的描述了Hadoop在Linux上的安装过程,并且附带了Wordcount程序示例
使用hadoop实现WordCount详细实验报告,配有环境变量配置截图以及实验运行及结果详细过程描述与截图
在hadoop平台上,实现词频统计(WordCount),指令很详细
单节点Hadoop安装手册
内含三个文档,Cygwin+Eclipse搭建Hadoop开发环境、cygwin安装及基本操作方法总结、Hadoop环境搭建及wordcount实例运行,要做这方面工作的人,可以进行参考
Hadoop的安装与配置及示例wordcount的运行
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
ubuntu上面运行hadoop自带的wordcount实例
Ubuntu 16.04下JDK+Hadoop+Spark环境搭建 Ubuntu 16.04下JDK+Hadoop+Spark环境搭建
本文档为初次学习大数据的学生提供单节点配置的简单教程,同时简单介绍了Hadoop的分布式文件系统HDFS的一些简单命令。
hadoop入门例子wordcount
hadoop1.2.1修改WordCount并编译 在其中加入控制台输出