linux统计文件中字符串次数及文件夹下特定类型文件个数
2023-09-27 14:28:03 时间
在实际日常项目中,常常会对生产日志查找异常或者统计一些内容
一、统计单个文件
统计单个文件字符串出现次数,语法:grep 字符串 文件名|wc -l ,grep输出,wc -l按行统计,每行重复只统计一个
如:统计task-hbase-transform.log中NullPointerException出现的次数
grep NullPointerException task-hbase-transform.log|wc -l
二、统计多个文件
统计/logs/task-hbase-transform/路径下,每个文件中Exception关键字出现的次数,
脚本统计:vim countex.sh 加入以下
#!bin/sh
for file in /logs/task-hbase-transform/* #日志文件路径
do
if test -f $file #如果是文件,统计异常数量,并输出到ex.log
then
e=`grep Exception "$file"|wc -l` #按行统计并输出
echo "Exception--"$file"--"$e >>ex.log #把统计内容输出到ex.log中
#echo $file 是文件 >> c.log
else
echo $file 是目录
fi
done
添加执行权限:chmod +x countex.sh
执行脚本:sh countex.sh
查看统计结果:cat ex.log
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-19--7
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-20--2
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-21--1
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-22--2
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-23--4
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-24--0
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-25--6
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-26--5
也可以添加定时执行脚本:crontab -e ,每天凌晨执行一次
0 0 * * * /opt/shell/countex.sh
三、统计文件夹下特定类型文件个数
统计文件夹下/mount/taskdata 以.log结尾的文件数量
find /mount/taskdata -name *.log |wc -l #find查找特定类型并统计
或者
ls /mount/taskdata/*.log |wc -l #ls列出特定类型并统计
相关文章
- Screen会话命令 Linux
- [计算机视觉][ARM-Linux开发] Ubuntu14.04安装OpenCV3.2中遇到的问题的解决方案
- linux实战项目经验得到的常用linux命令(3)文件定位和内容查找
- linux java 和jmeter 环境变量配置文件笔记(原)
- SSH上传/下载本地文件到linux服务器
- 五分钟搞懂 Linux 重点知识,傻瓜都能学会!
- 如何删除Linux一个目录下部分类型之外的所有文件的三种方法
- linux下tar.xz 文件解压
- Linux下快速迁移海量文件的操作记录
- linux查找目录下的所有文件中是否含有某个字符串
- LUA_linux的安装
- Linux下统计当前文件夹下的文件个数、目录个数
- Linux使用iptables设置黑白名单
- linux命令eval的用法
- Linux 删除所有目录下的.gitignore文件
- linux根目录满了,怎样快速查看是哪个文件占用空间大
- linux常用命令和关闭防火墙
- Linux 下 查看以及修改文件权限
- linux的wc -l 命令统计文件少一行(一般是windows文件)
- Linux 文件基本属性
- linux 根目录扩容方法
- Linux下oracle数据库启动和关闭操作
- Linux CentOS(RHEL 7/6)和Fedora(29-25) 安装Python 3.7.2
- linux批量重命名文件
- Linux 未安装vi如何编辑文件
- linux系统为文件添加执行权限
- Linux之IO Redirection
- Linux获取文件信息
- Linux 文件同步工具——rsync
- linux gcc 编译时头文件和库文件搜索路径
- linux .o,.a,.so文件解析
- 《Linux From Scratch》第二部分:准备构建 第四章:最后的准备- 4.5. 关于 SBU
- Linux内核同步机制之(五):Read Write spin lock【转】
- Linux下如何对目录中的文件进行统计
- Linux查看CPU、内存、IO占用高的进程