windows环境下跑hadoop自带的wordcount遇到的问题
hadoop环境自己之前也接触过,搭建的是一个伪分布的环境,主从节点都在我自己的机子上,即127.0.0.1,当初记得步骤很多很麻烦的样子(可能自己用ubuntu还不够熟练),包括myeclipse、hadoop等的下载与安装,以及最后的运行hadoop包自带的wordcount例子,当时只是在终端下运行的,没有把代码放在myeclipse中,也折腾半天,记得出现一个问题就是map过程能够达到100%,但是reduce却一直卡在0%,后来将自己的主机名hostname放到了hosts文件中,完美运行。
今天在熟悉hadoop环境,不同的是在windows server 2008上面,似乎之前这台机子上已有人配置过了,但是过时了,于是便删除了原来的两个节点,自己新建了一个节点。将hadoop插件放在了myeclipse目录dropins下,按照网上各位大神的步骤完成了基本配置,其中遇到了个问题,直接run as->run on hadoop出来的结果是“Usage: wordcount <in> <out>”,寻思了半天,找了些资料发现要在run as->run configurations中进行配置,进入后点arguments,在program arguments中加入了hdfs://localhost:8888/user/hadoop/input/* hdfs://localhost:8888/user/hadoop/output/*发现下面一直提示在重连,最终还是连不上,所以就开始琢磨,发现别人配的端口号和我不一样,于是把8888改成了我的DFS Master时设置的port的9000,这时运行还是报错,后来发现自己的也不是localhost而是hadoop93,这么一折腾,果然,结果出来了。
以上是菜鸟遇到的菜鸟问题,仅仅为了留下痕迹,以备以后查阅,如能给同道菜鸟一些帮助,则实属荣幸!
相关文章
- Windows编译ollvm_windows交叉编译linux
- 公司第一款windows平台的软件
- dirsearch无法在windows使用_没有windowssearch怎么办
- WINDOWS下安装系统_在Windows环境下
- CorelDRAW Graphics Suite 2023 | Windows | MAC完整版终身激活
- Windows 进程创建通知回调通知例程的学习笔记
- windows安装程序无法将windows配置为在此计算机
- windows通过命令获取mtu和修改mtu
- windows从Mingw到Linux,再到Windows:一程多操作系统之旅(mingwlinux)
- 在Windows与Linux之间传输文件(windows向linux传文件)
- 微软分享Surface设备支持列表:仅约半数可升级到Windows 11
- 文件Linux访问Windows共享文件:实现双系统互通(linux访问windows共享)
- Linux与Redhat:Windows之外的强大对手(linux和redhat)
- Windows系统如何访问Linux共享文件夹(windows访问linux共享文件夹)
- 开源新闻速递:朝鲜的桌面市场份额,Windows 还是第一
- “Linux轻松与Windows双启:引导快速添加方法”(linux添加windows引导)
- MySQL与Hadoop:改善数据处理效率(mysql与hadoop)
- Windows和Linux双系统:把两个世界都拥有(windows和linux双系统)
- 对比分析:Linux系统与Windows系统的异同(linux系统与windows系统的区别)
- 比较调研:Linux与Windows文件传输的优劣(linux和windows文件传输)
- Linux将文件传输到Windows系统中(linux传文件到windows)
- Linux vs Windows:谁才是真正的王者?(linux与windows)
- 在Linux系统中安装Windows:自由选择的另一种可能性(linux下安装windows)
- PwnFest 2016 | 中国黑客攻破 Microsoft Edge 拿下 Windows,14万美元奖金背后,三个有趣的内幕
- Git客户端TortoiseGit(Windows系统)的使用方法