ubuntu 14.04 hadoop eclipse 0配置基本环境
2023-09-14 09:08:06 时间
动人的hadoop第二天。构造hadoop该环境还花了两天时间,在这里写自己配置的过程,我希望能帮助!
我将文中用到的全部资源都分享到了 这里,点开就能下载,不须要一个个的找啦!
当中有《Hadoop 技术内幕》这本书。第一章讲述了这个配置过程,可是不具体~
---------------安装jdk-------------------------------
1.下载jdk1.6.0_45
2.解压到opt目录下,配置/etc/profile。在文件尾部加上
#set java environment
JAVA_HOME=/opt/jdk1.6.0_45
export JRE_HOME=/opt/jdk1.6.0_45/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
3.然后用source /etc/profile来又一次运行刚改动的初始化文件(profile)
4.配置默认程序
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/java 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javac 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/jar 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javah 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javap 300
然后运行下面代码选择我安装到jdk版本号:
update-alternatives --config java
5.之后就能够用java -version来查看java的版本号了
---------------安装eclipse-------------------------------
1.从官网下载java版到eclipse
http://mirror.neu.edu.cn/eclipse/technology/epp/downloads/release/kepler/SR2/eclipse-java-kepler-SR2-linux-gtk.tar.gz
2.解压到/home/simon目录下
3.用vi建立shell脚本命名为eclipse
vi /usr/local/bin/eclipse
内容例如以下:
/home/simon/eclipse/eclipse
4.为脚本eclipse加入可运行权限: chmod +x /usr/local/bin/eclipse
5.直接输入eclipse来启动它了
---------------安装ant-------------------------------
1.下载ant
http://mirror.esocc.com/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz
2.解压拷贝到/home/simon 目录下
3.改动/etc/profile 文件
export ANT_HOME=/home/simon/apache-ant-1.9.4
export PATH=$PATH$:$ANT_HOME/bin
4.然后用source /etc/profile来又一次运行刚改动
5.输入ant -version验证成功安装
Apache Ant(TM) version 1.9.4 compiled on April 29 2014
---------------安装hadoop-------------------------------
1.改动机器名称,编辑/etc/hostname 改动为localhost
2.配置ssh无password登录
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
apt-get install openssh-server
3.假设命令 ssh localhost不成功,则须要启动ssh服务
通过下面命令启动ssh服务
service ssh start
/etc/init.d/ssh start
假设还是启动失败。那就重新启动吧。管用
3.配置hadoop
(1)编辑conf/hadoop-env.sh,改动JAVA_HOME的值:
export JAVA_HOME=/opt/jdk1.6.0_45
(2)编辑conf/mapred-site.xml,加入内容:
<property>
<name>mapred.job.tracker</name>
<value>http://localhost:9001</value>
</property>
(3)编辑conf/hdfs-site.xml,加入内容:
<property>
<name>dfs.name.dir</name>
<value>/home/simon/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/simon/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
(4)编辑conf/core-site.xml。加入内容:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.0.0/tmp</value>
</property>
(5)
格式化hdfs: bin/hadoop namenode -format
启动hadoop: bin/start-all.sh
假设显示没有权限,可能是文件无权限,或者文件到用户不是当前用户(root)
能够尝试 chmod +x 文件名称
chown root:root bin/*
-------------------配置eclipse插件---------------
1.将hadoop-eclipse-plugin-1.0.0.jar拷贝到eclipse文件夹下到plugins文件夹下
2.打开eclipse
window-showview-other... 对话框中选择MapReduce Tools - Map/Reduce Locations
假设对话框中没有。则:%eclispe_dir%/configration/config.ini文件,发现里面有一项org.eclipse.update.reconcile=false配置,改成true后又一次进入eclipse
3.在Project Explorer中就能够看到DFS Locations了,假设能够向下点开几个目录,说明配置成功
启动eclipse:
env UBUNTU_MENUPROXY= /home/simon/eclipse/eclipse启动eclipse。注意等号和eclipse路径之间有个空格
------------------执行java程序--------------------
1.配置输入输出到路径
在程序中右击--Run As--Run Configurations..--Argument
里填入
hdfs://localhost:9000/test/input hdfs://localhost:9000/test/output
中间用空格间隔,分别为输入输出到路径
2.导入hadoop中到jar包,右击项目--Properties--左边选Java Build Path--右边选Libraries--右边点击Add External JARs...
在hadoop/lib/ 这个路径中选须要到jar包。假设不知道选哪个。那就全选!~(无奈)
3.在程序中右击--Run As--Run on hadoop 执行
版权声明:本文博主原创文章,博客,未经同意不得转载。
相关文章
- Hadoop——HBase配置、shell编程和api编程
- eureka集群配置_hadoop高可用集群搭建
- Flink SQL 客户端查询Hive配置及问题解决
- pycharm配置Git和Github[通俗易懂]
- linux网络配置出现E325,Linux启动vi编辑器提示E325:
- rpc服务器不可用 dcom 无法使用任何配置的协议与计算机,如何修复Windows上的“RPC服务器不可用”错误?…
- Hadoop入门(八)——本地运行模式+完全分布模式案例详解,实现WordCount和集群分发脚本xsync快速配置环境变量 (图文详解步骤2021)[通俗易懂]
- spring小错误(配置的时候)
- 保姆级教程:dogecloud多吉云CDN配置指南
- 基于 Ubuntu 服务器配置原生的 Socks5 网关代理服务器
- VS Code配置snippets代码片段快速生成html模板,提高前端编写效率
- Hadoop配置参数详解大数据
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建详解编程语言
- Linux下GMT软件环境安装和配置(gmtlinux安装)
- 运行Linux下Hadoop强劲运行:实现数据分析的奇迹(linux下hadoop)
- 加密MySQL数据库配置SALT加密安全(mysqlsalt)
- 如何快速配置Linux Yum源(linuxyum源配置)
- Linux系统下安装配置Hadoop(linux下安装hadoop)
- 在 Linux 中使用 Stratis 配置本地存储
- 利用Hadoop搭建MySQL数据库存储系统(hadoop和mysql)
- MySQL与Hadoop:改善数据处理效率(mysql与hadoop)
- Linux下创建Hadoop用户指南(linux创建hadoop用户)
- 利用Linux实现统一可靠的配置管理(linux 统一配置)
- 利用neo4j和Hadoop构建知识图谱(neo4j hadoop)
- 轻松上手:Linux服务器配置指南(linux开启服务器配置)
- Redis和Hadoop的应用与实现(redis hadoop)
- 快速实现C语言MySQL环境变量配置(c mysql 环境变量)
- MySQL下载后如何安装和配置(mysql下载过后怎么办)
- android横竖屏限制的配置方法