seo与python大数据结合给文本分词并提取高频词
2023-09-14 08:57:35 时间
最近研究seo和python如何结合,参考网上的一些资料,写的这个程序。
目的:分析某个行业(例如:圆柱模板)用户最关心的一些词,根据需求去自动调整TDK,以及栏目,内容页的规划
使用方法:
1、下载安装cygwin:http://www.cygwin.com/ 2、cygwin安装时别忘记安装curl,wget,iconv,lynx,dos2unix,Python等常用工具,特别是Python,这次主要就是用它了。 3、去下载jieba中文分词组件: 首选:https://github.com/fxsjy/jieba/archive/master.zip 备用:https://pypi.python.org/pypi/jieba/ 4、安装jieba中文分词组件: 全自动安装: easy_install jieba 或者 pip install jieba / pip3 install jieba 半自动安装:先下载 https://pypi.python.org/pypi/jieba/ ,解压后运行 python setup.py install 手动安装:将 jieba 目录放置于当前目录或者 site-packages 目录 通过 import jieba 来引用 5、复制以下代码,另存为“jiebacmd.py” 6、新建一个文件夹,将你需要分词的文本和jiebacmd.py拷进去,记住文本需要另存为utf-8编码,然后在cygwin里用cd命令把工作目录切换进新建的文件夹,再输入以下命令:cat abc.txt|python jiebacmd.py|sort|uniq -c|sort -nr|head -100
代码:
#encoding=utf-8 #usage example (find top 100 words in abc.txt): #用途:找出abc.txt文件中出现频率最高的前100个词 #复制以下命令到cygwin里运行,abc.txt是你文本的文件名,head -100可以自己改成想要提取的前多少个词 #cat abc.txt | python jiebacmd.py | sort | uniq -c | sort -nr -k1 | head -100 #以上都是注释,不影响程序运行 from __future__ import unicode_literals import sys sys.path.append("../") reload(sys) sys.setdefaultencoding( "utf-8" ) import jieba default_encoding='utf-8' if len(sys.argv)>1: default_encoding = sys.argv[1] while True: line = sys.stdin.readline() if line=="": break line = line.strip() for word in jieba.cut(line): print(word)
相关文章
- python包合集-shutil
- [Python 爬虫]煎蛋网 OOXX 妹子图爬虫(2)——多线程+多进程下载图片
- python学习笔记(三)— PyCharm 下载安装教程(Windows)
- pycharm 风格_python主题更改
- python运行代码不成功_Python | PyCharm无法直接运行(Run)脚本
- Android 平台的Python——基础篇(一)
- python中pygame怎么安_Python中pygame安装方法图文详解
- 哪些软件是python编写出来的_用Python编程需要什么软件?
- TensorFlow版本与Python版本对应关系以及TensorFlow包的下载
- python基础系列教程——Python的安装与测试:python解释器、PyDev编辑器、pycharm编译器
- 迭代器Python_python进阶路线
- Python主题建模LDA模型、t-SNE 降维聚类、词云可视化文本挖掘新闻组数据集|附代码数据
- 11 Python 进程与线程编程
- python聊天室(tkinter写界面,treading,socket实现私聊群聊查看聊天记录,mysql存储数据)
- Python OpenCV findContours()函数与drawContours()函数用法
- Python用KShape对时间序列进行聚类和肘方法确定最优聚类数k可视化|附代码数据
- Python beautifulsoup4解析 数据提取 基本使用
- Python_字符串常用函数和方法(5)_Python自学第十七节
- 5秒用Python轻松爬取全国"地铁"数据!
- 炸裂!让Python和C一样快,MIT推出新编译器,训练大数据集可提速5-10倍
- python-Python与MongoDB数据库-MongoDB数据库的基本知识
- Python frozenset集合(set集合的不可变版本)
- Python pickle模块:实现Python对象的持久化存储
- Python_day06-整数和字符串小数据池详解编程语言
- 用Python简化Linux指令:从繁琐变简单(python运行linux命令)
- Python爬取MySQL数据,助力数据分析(python读取mysql数据)
- 在Linux上安装Python学习快乐(linux下载python)
- 用 Python 分析过去四年的比赛数据,实力最强的 NBA 球队原来是它
- python连接mongodb操作数据示例(mongodb数据库配置类)