11.1.3hadoop工具dfsadmin、fsck、数据库扫描器、均衡器
(1) dfsadmin管理控制工具
查看hdfs的状态,切换安全模式,保存新的fsimage镜像,重置edits文件等
(2) fsck工具(file system check)
fsck工具从namenode获取文件系统的信息,检测文件系统总字节数,文件夹数,文件数,数据块数,满足最小复制条件的数据块数。超过3个复本的数据块,少于3个复本的数据块等。
移动文件到hdfs的/lost+found目录,hdfs fsck –move
删除文件无法恢复 hdfs fsck –delete
查找文属性件hdfs fsck /user/tom/part-00007 –files –blocks –racks
-files |
显示文件的名称,字节数,块数量,健康状态(是否有块丢失)。/user/tom/part-00007 234342342 bytes 1blocks(s):OK |
-blocks |
显示文件中各个数据块的信息,每个块一行 Blk_341423413131213 len=3432434 repl=3 |
-racks |
显示各个数据块复本在机架中的位置和datanode的地址 [/default-rack/10.3.23.1:50010, /default-rack/10.3.23.2:50010, /default-rack/10.3.23.3:50010, |
(3) 数据块datanode扫描器
属性dfs.datanode.scan.period.hours设置扫描周期,默认三周(504小时)检查一次。各个datanode扫描损坏数据块,进行检查。通过网页http://datanode:50075/blockScannerReport来获取输出报告。加上http://datanode:50075/blockScannerReport?Listblocks会在报告中列出datanode上所有块的最新状态。ok表示正常,failed表示损坏。
(4) 均衡器
随着时间的推移各个datanode上块分布会越来越不均衡,有忙有闲,有多有少。执行start –balancer.sh –threshold 5%脚本启动均衡器,复制数据库,使得各个datanode节点的使用率和集群的使用率之间小于阈值时5%(默认10%),停止均衡器。复制数据库的带宽限制由属性dfs,datanode.balance.bandwidthPerSec属性设定。
自己开发了一个股票智能分析软件,功能很强大,需要的点击下面的链接获取:
相关文章
- 打开MySQL数据库远程访问权限
- 干掉 PowerDesigner!这款国人开源的数据库设计工具真香
- PostgreSQL调用函数详解数据库
- MySQL 数据库定时自动备份详解数据库
- MySQL 数据库的端口号知识简介(mysql数据库端口)
- MySQL数据库查询:探索数据库名称(查询mysql数据库名)
- 用MSSQL清理数据库:简单有效的工具(mssql清理工具)
- Oracle 全局备份:实现数据库安全性(oracle全局备份)
- MongoDB:一款强大的数据库工具(mongodb工具)
- MySQL调试工具:迈向数据库之路(mysql调试工具)
- 利用 MySQL 视图工具构建数据库结构(mysql视图工具)
- 数据库解决Oracle远程连接及数据库访问问题(连接远程oracle)
- 极速提升:使用Redis数据库工具(redis数据库工具)
- Oracle工具:简单而高效的数据库管理(oracle工具使用)
- MySQL 数据库如何进行统计查询数量?(mysql统计查询数量)
- 降低MS SQL远程连接成本:使用数据库工具(mssql远程连接工具)
- 把 MSSQL 数据库中表数据安全转移(mssql 转移表)
- 使用MySQL在线工具就可以搞定各种数据库任务(mysql在线工具)
- MySQL数据库管理工具:连接无限可能(连接mysql数据库的工具)
- MySQL中的PM如何优化数据库性能(mysql中pm)
- MySQL个人精简版提高数据库效率之必备工具(mysql 个人精简版)
- Mac操作简单,快速连接Oracle数据库(mac连接oracle工具)
- 通过JDBC工具以Oracle为基础搭建数据库应用(jdbc工具oracle)
- Oracle DBUA简化数据库优化的完美工具(dbua oracle)
- Redis必要的强大数据库工具(为啥需要redis)
- MySQL数据库中的两张表如何进行模糊匹配(mysql两张表模糊匹配)
- 利用Oracle数据库实现会话记录(oracle会话记录)