HDFS 上传文件的不平衡,Balancer问题是过慢
2023-09-14 09:08:02 时间
至HDFS上传文件。假定从datanode开始上传文件,上传的数据将导致目前的当务之急是全datanode圆盘。这是一个分布式程序的执行是非常不利。
解决方案:
1、从其他非datanode节点上传
可以hadoop文件夹复制一份到一个不在集群中的节点(直接从非datanode的namenode上传也能够,可是这样不太好。会添加namenode的负担。而且时间长了会让namenode上放了各种乱七八糟的文件),在这个节点上不启动不论什么hadoop进程,可是能够当作client使用。
上传文件到集群。
也能够自己写一个上传文件的程序、在其它非集群节点上执行来上传文件。在程序中要注意自己设置必要的配置,比方namenode的url、副本数等等,由于假设不设置,会使用你程序中所带的hadoop jar包中的默认配置,而不是集群的默认配置。
2、使用balancer
能够通过
hdfs balancer -threshold XX
来进行平衡,xx是一个百分比。
关于这个命令的使用方法网上一搜一大堆。
可是默认情况下,这个平衡时非常慢的,由于默认的hadoop不同意balancer占用非常大的网络带宽。
能够通过
hdfs dfsadmin -setBalanacerBandwidth newbandwidth
设置带宽,在字节
相关文章
- GNU中的处理目标文件的若干工具
- Bootstrap fileinput.js,最好用的文件上传组件
- FileUpload实现文件上传(包含多文件)
- 科普|不同协议下远程服务器文件上传_下载优劣对比
- 使用php模拟form上传文件
- C# 文件读写操作整理
- Hadoop Java客户端操作hdfs实现文件上传操作
- 未能加载文件或程序集“Oracle.DataAccess, Version=2.112.1.0, Culture=neutral, PublicKeyToken=89b483f429c47342"
- 把Hybris安装时输出的日志重定向到一个本地文件中
- Atitit 文件上传 架构设计 实现机制 解决方案 实践java php c#.net js javascript c++ python
- 上传文件(同事写的,个人觉得写的蛮规范,拿来学习学习!)
- SAP UI5 FileUploader 的本地文件上传技术实现分享
- WEB漏洞攻防 - 文件上传漏洞总结
- 【Android 热修复】热修复原理 ( 热修复框架简介 | 将 Java 字节码文件打包到 Dex 文件 )
- 获取浏览器缓存文件的方法(chrome)
- Atitit..文件上传组件选择and最佳实践的总结(2)----HTTP
- 003-linux命令-文件和目录、查看文件内容-文本处理-sed、cat、grep、echo
- java===编译引用第三方文件的类(原创)
- WEB漏洞攻防 - 文件上传漏洞 - CMS类应用场景 - [见文章头]任意文件上传漏洞
- 检查YAML文件安全配置:kubesec
- PY-Batt7,8任意文件上传漏洞