awk一个linux系统的中的好教官
2023-06-13 09:15:36 时间
awk是一个文本处理程序,但是我更喜欢叫它教官,因为这样更形象。
我喜欢把各种文本的内容称为士兵,而教官负责管理培训它们。
日志统计
开发web的人员知道,我们经常需要查看nginx的服务器来统计来访者的记录。而awk教官可以很方便帮我们处理好存放在日志中的士兵,可以帮助我们选出最高的士兵,可以帮助我们选出经常出操的士兵,可以帮我们选出哪些士兵经常在一起。
看下面的一个需求:我们需要看看经常访问网站的有哪些ip,并且把它们的访问次数统计出来。初看这个问题似乎很复杂,不过不要担心,有问题,找教官,我们只要把我们的要求告诉教官,它就会告诉我们把结果,这很像sql语句,我们只要写出要获取的数据就行,至于怎么获取,全部交给数据库自己处理。
我们的awk语句如下:
awk '{sum[$1]++}END{for (ip in sum) print ip,sum[ip]}' access.log|sort -rn -k 2|head
结果如下
66.98.123.241 4849
144.34.223.61 730
101.133.226.32 330
23.83.246.193 279
101.133.140.228 188
101.133.147.20 174
101.133.224.74 158
101.133.224.22 151
59.109.210.199 132
47.240.89.111 63
我们简单分析下我们写的语句
- awk这个不用说,就是我们向教官打招呼
- '{sum[$1]++}END{for (ip in sum) print ip,sum[ip]}'这个单引号包含的就是我们向教官询问的问题,其中第一个{}表示我们要循环每一行,然后把ip保存到sum数组中,第二个{}表示我们要把相同的ip求和统计出来,其中的END表示最后执行,当然在第一个{}之前我们也可以有一个BEGIN。
- access.log是我们要统计的文件,就是告诉教官要统计那个营的士兵
- sort是linux的排序命令,就是将士兵排序,其中 -rn表示按照身高,降序排列,因为排序还可能按照体重等排序。
- k 表示我们需要对那列进行排序,因为前面统计的是ip,count,而我们需要按照count进行排序,所以这里写2
- head 是linux的头部预览命令,一个营有很多士兵,我们只需要选出前面的几个士兵就可以了,默认它是选出前10个士兵,当然我们也可以使用 head -n 5选择前5个士兵。
工作流程
awk 'BEGIN{ commands } pattern{ commands } END{ commands }'
1、通过关键字 BEGIN 执行 BEGIN 块的内容,即 BEGIN 后花括号 {} 的内容。
2、完成 BEGIN 块的执行,开始执行body块。
3、读入有 \n 换行符分割的记录。
4、将记录按指定的域分隔符划分域,填充域,0 则表示所有域(即一行内容),1 表示第一个域,
5、依次执行各 BODY 块,pattern 部分匹配该行内容成功后,才会执行 awk-commands 的内容。
6、循环读取并执行各行直到文件结束,完成body块执行。
7、开始 END 块执行,END 块可以输出最终结果。
强大的功能
从上面的例子我们也能看出来,awk可以向一般语言一样,也有自己的数据结构,也有自己的条件和循环判断,而且它也可以自己定义函数,可以说我们编程常用的功能,它都有提供。
因此,当我们需要统计一些文本中的内容的时候,我们一定不要忘记去找教官awk,它可能不是最好的教官,但是它一定值得你去选择它。
相关文章
- 文件Linux系统下快速查看CHM文档方法(linux打开chm)
- 状态检测Linux系统运行状态监测实践(linux系统运行)
- Linux下开发iOS应用:挑战还是机会?(linux做ios开发)
- 控制Linux系统的安全性:权限控制(linux中的权限)
- Linux系统查看外网IP的方法 (linux外网ip)
- 使用 Linux 建立可靠高效的测试环境(linux搭建测试环境)
- 安装Linux安全补丁,提升系统安全性(linux安全补丁)
- 构建基于嵌入式Linux的智能系统(嵌入式linuxppt)
- Linux系统架构及其分支解析(linux的分支)
- Linux的分支:开源的新时代(linux的分支)
- Linux之分支:开源世界的多元发展(linux的分支)
- 破解Linux系统:如何快速删除端口号(linux删除端口号)
- Linux系统中如何获取更多有用信息?(linux获取)
- 高效节约时间:Linux 系统批量安装方法分享(linux系统批量安装)
- 如何查看Linux下的磁盘格式(linux查看磁盘格式)
- 【教程】Linux系统添加字符集详解(linux添加字符集)
- Linux系统删除:面临灾难怎么办?(删除linux 系统)
- 利用无人机智能管理Linux系统(无人机linux)
- Linux系统分区调整实操(linux 调整 分区)