Hadoop在Windows环境下的部署[转]
http://blog.csdn.net/ruby97/article/details/7423088
经过一整天的折腾,参考了网上很多资料,我机器上的Hadoop似乎是配置成功了。下面分享一下详细的配置过程。也祝愿大家在配置的过程中少走弯路。
注意:本文的配置环境是:
- CygWin最新版本2.769下载地址
- Window7-64bit
- JDK1.6.0_31-win64 (JRE6)下载地址
- Eclipse-Indigo..
- Hadoop 0.20.2 (注意:0.20.203版本不可用,会导致tasktracker无法启动)下载地址
![](http://my.csdn.net/uploads/201204/03/1333419832_9322.png)
![](http://my.csdn.net/uploads/201204/03/1333421413_6592.png)
![](http://my.csdn.net/uploads/201204/03/1333420096_3522.png)
![](http://my.csdn.net/uploads/201204/03/1333420107_1304.png)
![](http://my.csdn.net/uploads/201204/03/1333420116_6575.jpg)
![](http://my.csdn.net/uploads/201204/03/1333420346_3033.png)
- hadoop-env.sh
- core-site.xml
- hdfs-site.xml
- mapred-site.xml
![](http://my.csdn.net/uploads/201204/03/1333420666_6333.png)
![](http://my.csdn.net/uploads/201204/03/1333420929_4112.png)
![](http://my.csdn.net/uploads/201204/03/1333421046_7812.png)
![](http://my.csdn.net/uploads/201204/03/1333421241_1480.png)
![](http://my.csdn.net/uploads/201204/03/1333422065_3209.png)
![](http://my.csdn.net/uploads/201204/03/1333422225_9307.png)
![](http://my.csdn.net/uploads/201204/03/1333422494_2377.png)
![](http://my.csdn.net/uploads/201204/03/1333422914_6919.png)
![](http://my.csdn.net/uploads/201204/03/1333423481_9340.png)
![](http://my.csdn.net/uploads/201204/03/1333423578_2216.png)
![](http://my.csdn.net/uploads/201204/03/1333423855_2695.png)
![](http://my.csdn.net/uploads/201204/03/1333424020_9106.png)
![](http://my.csdn.net/uploads/201204/03/1333424075_6532.png)
![](http://my.csdn.net/uploads/201204/03/1333424121_5836.png)
![](http://my.csdn.net/uploads/201204/03/1333424182_6672.png)
本文接上一篇:http://blog.csdn.net/ruby97/article/details/7423088
上一篇最后贴的图是在Eclipse下查看文件系统组成。
配置Eclipse插件请参考http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html
------------------------------------------------------------------------------------------
继续上一篇。上传完视频以后,可以通过如下几个命令查看系统的运行情况:
bin/hadoop dfsadmin -report
bin/hadoop dfs -lsr / 查看文件系统
OK。我在配置过程中主要遇到的错误是:
错误1. ...could only be replicated to 0 nodes,instead of 1
这个错误主要的解决方法是:
1.把 tmp文件全部删除。
2.然后把hadoop/conf目录下的slaves,masters文件内容全部改成 127.0.0.1
3.重新格式化namenode :(bin/hadoop namenode -format)
也许你不知道hadoop 的tmp文件在哪里,默认情况下应该才 cygwin根目录下的tmp文件夹内:
如下图所示:
把它们都删掉。就OK了。 (cd /tmp , rm -rf *)
参考博客:http://albb0608.iteye.com/blog/1279495
错误2:
name node is in safe mode
直接输入命令: bin/hadoop dfsadmin -safemode leave 离开安全模式
----------------------------------华丽分割------------------------------
记录配置过程到此结束,如有错误,烦请指出,不胜感激。
相关文章
- Windows下Nginx的启动、停止等命令&Nginx 配置多域名&windows下设置Nginx开机自动启动
- 通过cmd 使用 InstallUtil.exe 命令 操作 windows服务 Windows Service
- Windows服务启动进程----Cjwdev.WindowsApi.dll
- 为Windows 7添加“Internet打印”功能
- windows上安装python虚拟环境
- MFC Windows 程序设计[二十四]之windows目录展示(附源码)
- MFC Windows 程序设计[十五]之书写板
- OCR - Tesseract的Windows下安装使用及ocr识别
- windows映射模式
- windows下本地调试hadoop代码,远程调试hadoop节点。
- Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
- windows s2019安装mysql 5.7并配置
- Hadoop之—— CentOS Warning: $HADOOP_HOME is deprecated解
- 如何以广播方式发送自定义Windows消息
- 如何检测Windows中的横向渗透攻击——还是EDR能力为主啊
- Hadoop之hadoop-mapreduce-examples测试执行及报错处理
- FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset 错误解决
- 超详细的GO语言windows系统开发环境的搭建及其项目的创建(2019年8月25日更新)
- Windows下安装MySQL5.5(备忘)
- 教你怎么把windows平台的东西复制到linux下