Py之textrank4zh:textrank4zh的简介、安装、使用方法之详细攻略
Py之textrank4zh:textrank4zh的简介、安装、使用方法之详细攻略
目录
textrank4zh的简介
TextRank算法可以用来从文本中提取关键词和摘要(重要的句子)。TextRank4ZH是针对中文文本的TextRank算法的python算法实现。
原理
TextRank的详细原理请参考:
Mihalcea R, Tarau P. TextRank: Bringing order into texts[C]. Association for Computational Linguistics, 2004.
关于TextRank4ZH的原理和使用介绍:使用TextRank算法为文本生成关键字和摘要
关键词提取
将原文本拆分为句子,在每个句子中过滤掉停用词(可选),并只保留指定词性的单词(可选)。由此可以得到句子的集合和单词的集合。
每个单词作为pagerank中的一个节点。设定窗口大小为k,假设一个句子依次由下面的单词组成:
w1, w2, w3, w4, w5, ..., wn
w1, w2, ..., wk
、w2, w3, ...,wk+1
、w3, w4, ...,wk+2
等都是一个窗口。在一个窗口中的任两个单词对应的节点之间存在一个无向无权的边。
基于上面构成图,可以计算出每个单词节点的重要性。最重要的若干单词可以作为关键词。
关键短语提取
参照关键词提取提取出若干关键词。若原文本中存在若干个关键词相邻的情况,那么这些关键词可以构成一个关键词组。
例如,在一篇介绍支持向量机
的文章中,可以找到关键词支持
、向量
、机
,通过关键词组提取,可以得到支持向量机
。
摘要生成
将每个句子看成图中的一个节点,若两个句子之间有相似性,认为对应的两个节点之间有一个无向有权边,权值是相似度。
通过pagerank算法计算得到的重要性最高的若干句子可以当作摘要。
textrank4zh的安装
pip install textrank4zh==0.3
pip install textrank4zh
textrank4zh的使用方法
1、测试
#-*- encoding:utf-8 -*-
from __future__ import print_function
import sys
try:
reload(sys)
sys.setdefaultencoding('utf-8')
except:
pass
import codecs
from textrank4zh import TextRank4Keyword, TextRank4Sentence
text = codecs.open('../test/doc/01.txt', 'r', 'utf-8').read()
tr4w = TextRank4Keyword()
tr4w.analyze(text=text, lower=True, window=2) # py2中text必须是utf8编码的str或者unicode对象,py3中必须是utf8编码的bytes或者str对象
print( '关键词:' )
for item in tr4w.get_keywords(20, word_min_len=1):
print(item.word, item.weight)
print()
print( '关键短语:' )
for phrase in tr4w.get_keyphrases(keywords_num=20, min_occur_num= 2):
print(phrase)
tr4s = TextRank4Sentence()
tr4s.analyze(text=text, lower=True, source = 'all_filters')
print()
print( '摘要:' )
for item in tr4s.get_key_sentences(num=3):
print(item.index, item.weight, item.sentence) # index是语句在文本中位置,weight是权重
相关文章
- pycharm安装后如何使用_Pycharm安装教程
- 如何做 APP 安装测试 ?
- 两种方法在VMware中安装VMware Tools
- VirtualBox安装Debian6的方法和步骤(详细)
- ios--无安装证书打包ipa
- django-CMS的安装和工程启动
- linux系统安装的mysql数据库root帐户密码忘记的两种处理方法
- Axure RP 9.0原型设计工具中文版,Axure软件简体中文版安装方法
- 中文版Adobe Premiere cc 2018软件安装方法-PR软件全版本下载
- Ubuntu安装MySQL5.7并配置数据存储路径的方法步骤
- CentOS 7下用yum快速安装MongoDB的方法教程
- 详解安装Ubuntu Linux系统时硬盘分区最合理的方法
- centos6.6 下 安装 php7 + nginx环境的方法
- Oracle 11g数据库详细安装图文教程
- centos8 使用yum 安装 mongodb 4.2的方法
- Linux 安装 R 软件包的简单方法(linux安装r包)
- VNC安装Linux : 简易步骤实现远程桌面(vnc安装linux)
- Linux下快速安装依赖包的简单方法(linux依赖包安装)
- 安装Linux系统的.gz文件(linux.gz安装)
- MAMP配置安装Redis的步骤(mampredis)
- 简单易行的方法,Linux系统安装雅黑字体!(linux安装雅黑)
- Linux系统下博通驱动的安装和使用方法(博通驱动linux)
- 轻松实现!Linux一键安装攻略详解(linux如何一键安装)
- Linux下Bin文件的安装方法(linux bin文件安装)
- MySQL避开vi编辑器安装方法(mysql不安装vi)
- sql2000挂起无法安装的问题的解决方法
- pear包安装phpunit的方法
- xampp安装后apache80端口被占用的解决方法
- linux安装mysql和使用c语言操作数据库的方法c语言连接mysql