Linux终端的乐趣之把玩字词计数
2023-03-14 22:31:30 时间
Linux终端的乐趣之把玩字词计数
Linux 命令行有很多的乐趣,我们可以很容易并且完善地执行很多繁琐的任务。比如,我们计算一个文本文件中字和字符的出现频率,这就是我们打算在这篇文章中讲到的。
立刻来到我们脑海的命令,计算字和字符在一个文本文件中出现频率的 Linux 命令是 wc 命令。
在使用的脚本来分析文本文件之前,我们必须有一个文本文件。为了保持一致性,我们将创建一个文本文件,man命令的输出如下所述。
- $ man man > man.txt
以上命令是将man命令的使用方式导入到man.txt文件里。
我们希望能得到最平常的单词,对之前我们新建的文件执行如下脚本。
- $ cat man.txt | tr ' ' '\012' | tr '[:upper:]' '[:lower:]' | tr -d '[:punct:]' | grep -v '[^a-z]' | sort | uniq -c | sort -rn | head
Sample Output
- 7557
- 262 the
- 163 to
- 112 is
- 112 a
- 78 of
- 78 manual
- 76 and
- 64 if
- 63 be
上面的脚本,输出了最常使用的十个单词。
如何看单个的字母呢?那就用如下的命令。
- $ echo 'tecmint team' | fold -w1
Sample Output
- t
- e
- c
- m
- i
- n
- t
- t
- e
- a
- m
注: -w1只是设定了长度
现在我们将从那个文本文件中掰下来的每一个字母,对结果进行排序,得到所需的输出频率的十个最常见的字符。
- $ fold -w1 < man.txt | sort | uniq -c | sort -rn | head
Sample Output
- 8579
- 2413 e
- 1987 a
- 1875 t
- 1644 i
- 1553 n
- 1522 o
- 1514 s
- 1224 r
- 1021 l
如何区分大小写呢?之前我们都是忽略大小写的。所以,用如下命令。
- $ fold -w1 < man.txt | sort | tr '[:lower:]' '[:upper:]' | uniq -c | sort -rn | head -20
Sample Output
- 11636
- 2504 E
- 2079 A
- 2005 T
- 1729 I
- 1645 N
- 1632 S
- 1580 o
- 1269 R
- 1055 L
- 836 H
- 791 P
- 766 D
- 753 C
- 725 M
- 690 U
- 605 F
- 504 G
- 352 Y
- 344 .
请检查上面的输出,标点符号居然包括在内。让我们干掉他,用tr 命令。GO:
- $ fold -w1 < man.txt | tr '[:lower:]' '[:upper:]' | sort | tr -d '[:punct:]' | uniq -c | sort -rn | head -20
Sample Output
- 11636
- 2504 E
- 2079 A
- 2005 T
- 1729 I
- 1645 N
- 1632 S
- 1580 O
- 1550
- 1269 R
- 1055 L
- 836 H
- 791 P
- 766 D
- 753 C
- 725 M
- 690 U
- 605 F
- 504 G
- 352 Y
现在,我们有了三个文本,那就让我们用如下命令查看结果吧。
- $ cat *.txt | fold -w1 | tr '[:lower:]' '[:upper:]' | sort | tr -d '[:punct:]' | uniq -c | sort -rn | head -8
Sample Output
- 11636
- 2504 E
- 2079 A
- 2005 T
- 1729 I
- 1645 N
- 1632 S
- 1580 O
下一步我们将会生成那些罕见的至少十个字母长的单词。以下是简单的脚本:
- $ cat man.txt | tr '' '\012' | tr '[:upper:]' '[:lower:]' | tr -d '[:punct:]' | tr -d '[0-9]' | sort | uniq -c | sort -n | grep -E '..................' | head
Sample Output
- 1 ──────────────────────────────────────────
- 1 a all
- 1 abc any or all arguments within are optional
- 1 able see setlocale for precise details
- 1 ab options delimited by cannot be used together
- 1 achieved by using the less environment variable
- 1 a child process returned a nonzero exit status
- 1 act as if this option was supplied using the name as a filename
- 1 activate local mode format and display local manual files
- 1 acute accent
注: 上面的.越来越多,其实,我们可以使用.{10} 得到同样的效果。
这些简单的脚本,让我们知道最频繁出现的单词和英语中的字符。
现在结束了。下次我会在这里讲到另一个有趣的话题,你应该会喜欢读。还有别忘了向我们提供您的宝贵意见。
原文发布时间:2014-10-26
本文来自云栖合作伙伴“linux中国”
相关文章
- 安全人员披露iOS漏洞:利用HomeKit让iPhone瘫痪
- 苹果 iOS 14 曝严重漏洞,黑客利用 HomeKit 即可瘫痪你的 iPhone、iPad
- Android NDK Crash 定位分析
- 为什么 iOS 15 系统更新率远不如前
- 一篇文章带给你动画估值器详解
- 腾讯企业QQ将于明年停止服务
- iOS 15.2 新功能:可显示配件更换情况
- Android 13正开发Panlingual功能:可为单个App指定语言
- 苹果在 iOS 15 中使用了 Swift 和 SwiftUI
- 不限速后八大网盘实测对比:还是QQ最香
- 奸商被气哭!iOS 15.2可查看零部件正品
- iOS 15.2已“修复”阻止第三方换屏的问题 但仍有警告弹窗与功能限制
- 狠整不良商贩!苹果更新iOS 15.2细节:能看iPhone零部件是否正品等
- iOS 15 中 Swift 和 SwiftUI 的使用情况
- BUG解决了?苹果关闭iOS 15.1.1验证,升完没得后悔
- 百度网盘青春版真的不限速?实测告诉你答案
- 为什么iOS15.2必须升级,知道这三点你才能恍然大悟
- 苹果iOS 16升级将抛弃iPhone 6s/Plus、iPhone SE初代
- 违规使用 OBS 等源码,抖音海外版被举报
- iOS 15.2使用现状,有人夸有人骂,深度使用之后我来告诉你答案