Ubuntu下Hadoop快速安装手册
一、环境
ubuntu10.10+jdk1.6
二、下载&安装程序
1.1 Apache
Hadoop:
下载Hadoop
Relase:http://hadoop.apache.org/common/releases.html
解压:tar
xzf hadoop-x.y.z.tar.gz
1.2 安装JDK1.6:sudo
apt-get install sun-java6-jdk
三、配置环境变量&配置文件
1.环境变量
export
HADOOP_INSTALL=/opt/hadoop-0.20.2/
(Hadoop解压目录)
export
PATH=$PATH:$HADOOP_INSTALL/bin
export
HADOOP_COMMON_HOME=$HADOOP_INSTALL
export
HADOOP_CONF_DIR=$HADOOP_INSTALL/conf
export
JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JDK目录)
2.配置Hadoop
2.1设置hadoop
JAVA_HOME
打开$HADOOP_INSTALL/conf/hadoop-env.sh,配置JAVA_HOME如下图:
2.2 设置hadoop ,hdfs,mapreduce(伪集群设置,其它参考文档)
2.2.1设置core-site.xml,如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000/</value>
</property>
<property>
<!--
注意:一定要设置此项,dfs,mapreduce,tmp文件都存放此处;
否则dfs,mapreduce将默认存放在系统临时目录下(/tmp),
系统重启后,以前的所有操作将消失。--!>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/john/hadoop/</value>
</property>
</configuration>
具体配置项参考:
hadoopinstal/doc/core-default.html
2.2.2 设置hdfs-site.xml,如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<configuration>
具体配置项参考:
hadoopinstal/doc/hdfs-default.html
2.2.3设置mapred-site.xml,如下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<configuration>
具体配置项参考:
hadoopinstal/doc/mapred-default.html
四、Format
Hadoop&Run Hadoop
控制台执行命令:hadoop
namenode -format
运行:start.all.sh
验证是否安装成功:
浏览器:http://localhost:50030
(localhost
Hadoop Map/Reduce Administration)
http://localhost:50070
(NameNode'localhost.localdomain:8020')
五、安装Eclipse
plugin
对与不同Hadoop版本,需要不同的plugin,需要自己编译,在0.20.2版本一下,的release包里都有编译好的plugin,位置在(解压目录/contrib/eclipse-plugin/)。编译plugin问题很多,如果需先赌为快,建议安装0.20.2版。直接把hadoop-*-eclipse-plugin.jar,cp到”eclipse安装目录/eclise/plugins”
注意,一定不要修改hadoop-*-eclipse-plugin.jar名称,然后重新启动eclipse即可,
查看插件如下图:
- 大小: 25.5 KB
- 大小: 35.4 KB
分享到:
相关推荐
windows7上VMware虚拟机上三台ubuntu10.10上hadoop的安装及配置详解
Ubuntu 10.10在2010年10月正式发布,让众多Ubuntu用户都对这款全新的系统充满期望。毕竟,Ubuntu 10.10是Canonical公司推出的最为用户友好的系统,而且为它添加了很多新的功能。 熟悉Ubuntu系统的用户了解,在...
Ubuntu 10.10的安装图解过程Ubuntu 10.10的安装图解过程
U盘安装ubuntu10.10图文教程
Ubuntu10.10下嵌入式开发环境的配置
Ubuntu10.10下kgdb环境搭建
在U盘中安装Ubuntu 10.10的方法
用Ubuntu10.10 dvd版本作为本地源,Ubuntu 10.10 DVD ISO挂载的方式来更新软件,已经通过测试
Ubuntu10.10下tftp服务器配置笔记
Ubuntu 10.10安装配置tftp服务.doc
ubuntu10.10安装配置全过程图文详解
windows_XP下安装Ubuntu10.10
ubuntu10.10下安装Samba步骤,个人实践记载所得。
在Ubuntu 10.10 Linux 下安装锐捷客户端方法及相关软件 在Ubuntu 10.10 Linux 下安装锐捷客户端方法及相关软件
ubuntu 10.10网络配置10步曲
自己整理的Ubuntu安装指南。希望对大家有帮助
本文档就cuda和mpi在ubuntu10.10下的安装与配置进行了较为详细的说明,按照此文档安装,ubuntu 10.10下99%会安装正确。通过安装SSH可实现多台机器的无密码访问...ubuntu下其它版本安装可能稍有不同,但绝大部分是相同的
Ubuntu10.10操作手册
在Ubuntu 10.10下安装JDK配置Eclipse及Tomcat,重点介绍了如果安装JDK,如何配置JDK的环境变量,如果安装Eclipse,以及如何配置Tomcat
ubuntu10.10中不能安装VMware Tools的解决方案