Python实现对张小龙3万字演讲分词统计
2023-03-15 22:05:32 时间
分词的好坏直接决定了搜索的质量,在英文中分词比中文要简单,因为英文是一个个单词通过空格来划分每个词的,而中文都一个个句子,单独一个汉字没有任何意义,必须联系前后文字才能正确表达它的意思。
Python 中有个比较著名的分词库是结巴分词,从易用性来说对用户是非常友好的,但是准确度不怎么好。
这几天发现另外一个库,pkuseg-python,简单易用,跟现有开源工具相比提高了分词的准确率。 于是我想起用张小龙的3万字演讲做下测试。
首先做好准备安装 pkuseg:
pip3 install pkuseg
第一步是将演讲内容下载下来,保存到一个txt文件中
content = []
with open("yanjiang.txt", encoding="utf-8") as f:
content = f.read()
我统计了字数 ,大概有3W+字 接下来我们用pkuseg对内容进行分词处理,并统计出现频率最高的前20个词语是哪些。
import pkuseg #导入pkuseg
from collections import Counter #Counter(计数器)用于追踪值的出现次数
import pprint #pprint模块 提供了打印出任何python数据结构类和方法
content = [] #yanjiang.txt保存好的文本
with open("yanjiang.txt", encoding="utf-8") as f:
content = f.read()
seg = pkuseg.pkuseg() #加载模型,给定用户词典
text = seg.cut(content) #进行分词
counter = Counter(text)
pprint.pprint(counter.most_common(20))
#输出格式的对象字符串到指定的stream,最后以换行符结束。
输出结果:
什么鬼,这都是些啥玩意,分词领域还有一个概念叫做停用词,所谓停用词就是在语境中没有具体含义的文字, 为了使得分词效果更好,我们就要把这些停用词去掉,我们去网上找个停用词库。
改良代码、重新来一次:
import pkuseg
from collections import Counter
import pprint
content = []
with open("yanjiang.txt", encoding="utf-8") as f:
content = f.read()
seg = pkuseg.pkuseg()
text = seg.cut(content)
stopwords = []
with open("stopword.txt", encoding="utf-8") as f:
stopwords = f.read()
new_text = []
for w in text:
if w not in stopwords:
new_text.append(w)
counter = Counter(new_text)
pprint.pprint(counter.most_common(20))
打印的结果:
停用词都过滤掉了,但是我们选出来的前20个高频词还是不准确,有些不应该分词的也被拆分了,例如朋友圈,公众号,小程序等词,我们认为这是一个整体。 对于这些专有名词,我们只需要指定一个用户词典, 分词时用户词典中的词固定不分开,重新进行分词。
lexicon = ['小程序', '朋友圈', '公众号'] #
seg = pkuseg.pkuseg(user_dict=lexicon) # 加载模型,给定用户词典
text = seg.cut(content)
最后出来的结果前50个高频词是这样的
163 微信
112 用户
89 产品
72 朋友圈
56 工具
55 社交
53 小程序
40 视频
39 希望
39 时间
36 游戏
33 阅读
32 内容
31 朋友
31 平台
30 文章
29 信息
27 团队
27 AI
26 APP
25 公众号
25 服务
24 好友
22 照片
21 时代
21 记录
20 手机
20 推荐
20 企业
19 原动力
18 功能
18 真实
18 生活
17 流量
16 电脑
15 空间
15 发现
15 创意
15 体现
15 公司
15 价值
14 版本
14 分享
14 未来
13 互联网
13 发布
13 能力
13 讨论
13 动态
12 设计
张小龙讲得最多的词就是用户、朋友、原动力、价值、分享、创意、发现等这些词,用户出现112次,希望39次,朋友31次,这些词正是互联网的精神。 加油!
相关文章
- Python也能操作MongoDB数据库
- 一篇带你深入理解Promise
- 如何使用Python将MySQL表数据迁移到MongoDB集合
- Jmh基准测试,看我怎么用它来测试Mongodb的数据加载性能
- 瞧瞧,人家那后端API接口写得多优雅!
- VS Code 中 Python 扩展的部分功能重构,支持 R 和 Julia
- Python之父Guido Van Rossum宣布加入微软
- Python之父,现在成为微软打工人
- 用Python写一个NoSQL数据库
- GitHub上十大很火的Python项目,最后一个竟然是它!
- 一行代码实现Python连接所有数据库做数据分析
- 目标检测算法中规则矩形和不规则四边形IOU的Python实现
- Python爬虫:手把手教你采集登陆后才能看到数据
- GitHub 上适合新手的开源项目(Python 篇)
- PyQt和Qt有什么区别?
- 10月份GitHub上热门的Python开源项目
- 「拜登当选」,Python之父大喊Yes!吴恩达:松了口气
- 这些高阶的函数技术,你掌握了么
- 编程语言排行榜:Python 排名第二,首次领先于 Java
- Redis 6.X Sentinel 哨兵集群搭建