awk、sed、grep
awk
[https://www.runoob.com/linux/linux-comm-
awk.html](https://links.jianshu.com/go?to=https%3A%2F%2Fwww.runoob.com%2Flinux%2Flinux-
comm-awk.html)
可以根据文件指定分隔符,像处理表格一样处理文本或序列。通常来处理字段,并基于字段进行过滤,或进行模式匹配。
语法
awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)
常用的内建变量
NF
:记录的字段数
NR
:记录的行号
OFS
:输出字段分隔符,默认值与输入字段分隔符一致。
ORS
:输出记录分隔符(默认值是一个换行符)
$n
:当前记录的第n个字段,字段间由FS分隔
$0
:完整的输入记录
ARGV
:包含命令行参数的数组
ARGC
:命令行参数的数目
基本用法
- 案例一undefined输出字段1,4undefined
awk '{print $1,$4}' log.txt
- 案例二undefined指定分隔符undefined
awk -F, '{print $1,$2}' log.txt
- 案例三undefined设置变量undefined
awk -va=1 '{print $1,$1+a}' log.txt
- 案例四undefined执行awk 脚本undefined
awk -f {awk脚本} {文件名}
- 其他案例
awk '$1==2 {print $1,$3}' log.txt #命令
awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt #命令
awk '$2 ~ /th/ {print $2,$4}' log.txt # 正则表达式匹配
awk '/re/ ' log.txt
awk '!/th/ {print $2,$4}' log.txt
awk 脚本
关于 awk 脚本,我们需要注意两个关键词 BEGIN 和 END。
BEGIN{ 这里面放的是执行前的语句 }
END {这里面放的是处理完所有的行后要执行的语句 }
{这里面放的是处理每一行时要执行的语句
ls -l *.txt | awk '{sum+=$5} END {print sum}'
以上的应用案例基本包括了常用的awk 的常用用法,更复杂的文本处理则可以通过awk 脚本完成。
sed
[https://www.runoob.com/linux/linux-comm-
sed.html](https://links.jianshu.com/go?to=https%3A%2F%2Fwww.runoob.com%2Flinux%2Flinux-
comm-sed.html)
与awk 相比,sed在处理文本的行具有更好的效率。
基本语法
sed [-hnV][-e<script>][-f<script文件>][文本文件]
参数说明
- -e<script> 或 --expression=<script> 以选项中指定的script来处理输入的文本文件。
- -f<script文件> 或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
- -n或--quiet或--silent 仅显示script处理后的结果。
sed 文件处理命令
包括增加、删除、打印、替换行的内容
- a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
- c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
- d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
- i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
- p :打印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~
- s :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配正规表示法!例如 1,20s/old/new/g 就是啦!
应用案例
- 案例一
sed -e 4a
ewline testfile #使用sed 在第四行后添加新字符串
nl /etc/passwd | sed '2a drink tea' ## 第二行末尾添加内容。nl 显示行号。
nl /etc/passwd | sed '2i drink tea' # 第二行前添加内容
nl /etc/passwd | sed '2a Drink tea or ......
drink beer ?' # 在第二行后面加入两行字,''符号
- 案例二undefined
nl /etc/passwd | sed '2,5d'
- 案例三undefined将第2-5行的内容取代成为『No 2-5 number』
nl /etc/passwd | sed '2,5c No 2-5 number'
- 案例四undefined-n 只打印包含模式匹配的行。
nl /etc/passwd | sed -n '/root/p'
- 其他
nl /etc/passwd | sed '/root/d'
nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p;q}'
/sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g' ## 替换
nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/' # 多点编辑
sed -i 's/.$/!/g' regular_express.txt # 直接修改命令
以上的案例表明,sed 的一些操作可以放在行的末尾,或者放在模式匹配的末尾,或者在大括号内以分号分隔,或者通过-e 命令,实现多点编辑。
grep
[https://www.runoob.com/linux/linux-comm-
grep.html](https://links.jianshu.com/go?to=https%3A%2F%2Fwww.runoob.com%2Flinux%2Flinux-
comm-grep.html)
grep 查找文件里符合条件的字符串。
语法
grep [-abcEFGhHilLnqrsvVwxy][-A<显示行数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]
应用案例
grep "被查找的字符串" 文件名
grep test *file # 在当前目录中,查找后缀有 file 字样的文件中包含 test 字符串的文件
grep -v test *test* #查找文件名中包含 test 的文件中不包含test 的行,此时,使用的命令为
grep –e "正则表达式" 文件名
grep 除了可以查找单个文件中匹配的模式,也可以在目录中包含特定字符的文件查找匹配模式的行。
相关文章
- 【技术种草】cdn+轻量服务器+hugo=让博客“云原生”一下
- CLB运维&运营最佳实践 ---访问日志大洞察
- vnc方式登陆服务器
- 轻松学排序算法:眼睛直观感受几种常用排序算法
- 十二个经典的大数据项目
- 为什么使用 CDN 内容分发网络?
- 大数据——大数据默认端口号列表
- Weld 1.1.5.Final,JSR-299 的框架
- JavaFX 2012:彻底开源
- 提升as3程序性能的十大要点
- 通过凸面几何学进行独立于边际的在线多类学习
- 利用行动影响的规律性和部分已知的模型进行离线强化学习
- ModelLight:基于模型的交通信号控制的元强化学习
- 浅谈Visual Source Safe项目分支
- 基于先验知识的递归卡尔曼滤波的代理人联合状态和输入估计
- 结合网络结构和非线性恢复来提高声誉评估的性能
- 最佳实践丨云开发CloudBase多环境管理实践
- TimeVAE:用于生成多变量时间序列的变异自动编码器
- 具有线性阈值激活的神经网络:结构和算法
- 内网渗透之横向移动 -- 从域外向域内进行密码喷洒攻击