win系统下的eclipse连接和使用linux上的hadoop集群
准备工作
先在win系统的hosts文件中加入下面内容
10.61.6.164master //hadoop集群的master节点
一、首先在eclipse上安装hadoop插件
下载hadoop-eclipse-plugin-1.1.2.jar。将其复制到eclipse 安装文件夹下的plugins,再启动eclispe。这时在eclipse的File/New/other下会看到一下的内容,证明插件成功安装
二、在Window/show view/other里打开Map/Reduce Locations
打开后会有下图所看到的的窗体。点击右側的紫色小象
会弹出下图所看到的的窗体
然后配置你的连接信息:
Location name:自己能够定义为不论什么名字
Host:是你的hadoop集群的master节点的ip地址
Port:必需按上图配置,当然假设你配置hadoop集群时将默认port换了,此处则为你自己改动的port号
配置完以后会在左側文件夹栏里看到
三、配置程序执行參数(你的项目必需是mapreduce项目,而且已经加入hadoop里的全部jar包)
先在你的项目下建立一个in文件夹,并将data数据文件复制到当中,再将你的项目导出问jar文件。然后在你的项目的main函数里加入下面代码
conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改
右击你的项目。选择Run as/Run Configurations
点击Arguments
在里面加入上图中的内容
Lee 文件在HDFS上的存储路径<dfs_path>
in/data 输入文件(本地路径)<input>
3 项集的大小k
1 支持度阈值<spt_dg>
out 输出文件<本地路径><output>
点击ok你的项目就可以连接和使用你的hadoop集群了
相关文章
- 在Linux下安装Eclipse
- Linux 服务器CPU占用率100%,使用率高解决方案
- linux java 版本
- Linux下如何查看哪个进程占用内存多?
- ps -ef | grep Linux进程查看命令
- Linux Shell 通配符、元字符、转义符使用实例介绍
- Linux基础之linux服务器服务器间拷贝文件
- Linux下执行Java服务程序
- eclipse中没有MinGW GCC/Cross GCC/Cygwin GCC/linux GCC/MacOSX GCC/MinGW GCC/Solaris GCC(编译器)
- Linux环境安装Eclipse工具开发
- Linux标准错误码(全)
- Linux - Eclipse CDT + GCC 安装(2014.10.2)
- 【整理】Linux下中文检索引擎coreseek4安装,以及PHP使用sphinx的三种方式(sphinxapi,sphinx的php扩展,SphinxSe作为mysql存储引擎)
- Linux iostat命令详解
- LINUX下用YUM安装nginx出现No package nginx available.的问题与解决方案
- 嵌入式linux开发,pptp失败,ConfReq无回复,LCP: timeout sending Config-Requests,Connection terminated,Modem Modem