[Linux]结合awk删除hdfs指定日期前的数据
2023-09-27 14:25:13 时间
业务背景
约定五天前的HDFS数据为过期版本号数据。写一个脚本自己主动删除过期版本号数据
$ hadoop fs -ls /user/pms/workspace/ouyangyewei/data
Found 9 items
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-01
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-02
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-03
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-04
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-05
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-06
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-07
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-08
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-09
脚本实现
# ---------------------------------------------------------
#
# 删除历史版本号(五天前的为过期版本号数据)
#
# ---------------------------------------------------------
old_version=$(hadoop fs -ls /user/pms/workspace/ouyangyewei/data | awk 'BEGIN{ five_days_ago=strftime("%F", systime()-5*24*3600) }{ split($8,arr,"/"); if(arr[7]<five_days_ago){printf "%s\n", $8} }')
arr=(${old_version// / })
for version in ${arr[@]}
do
hadoop fs -rmr $version
done
运行以后
$ hadoop fs -ls /user/pms/workspace/ouyangyewei/data
Found 4 items
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-06
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-07
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-08
drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-09
相关文章
- Linux系统被入侵后处理实战
- linux 技巧:使用 screen 管理你的远程会话
- 全新物联网/Linux恶意软件攻击数字视频录像机并组建僵尸网络
- 运维请注意:”非常危险“的Linux命令大全
- Linux上简单的 sudo 功能和配置
- [C++]Linux之间隔时间内循环执行指定程序
- linux下c程序 daemon、fork与创建pthread的顺序问题
- Java实现执行Linux命令处理数据
- Linux下 ps -ef 和 ps aux 的区别及格式详解
- Linux Shell日期比较,数值比较和字符串比较及相关
- Linux下使用CMake进行编译的时候寻找Boost库
- Linux服务器上监控网络带宽的18个常用命令
- 《Linux From Scratch》第三部分:构建LFS系统 第七章:基本系统配置- 7.4. 创建自定义符号链接到设备
- 在 Linux 中安装 Lighttpd Web 服务器
- linux三剑客之awk