python常见的5种框架
大家好,又见面了,我是你们的朋友全栈君。
1.scrapy框架
scrapy框架是一套比较成熟的python爬虫框架,是使用python开发的快速、高层次的信息爬取框架,可以高效率地爬取web页面并提取出我们关注的结构化数据。
scrapy框架的应用领域有许多,比如网络爬虫,数据挖掘、数据监测、自动化测试等。
scrapy框架是一套开源的框架,开源也就意味着我们能够看到并且免费试用scrapy的所有代码。
2.crawley框架
crawley也是使用python开发出来的一款爬虫框架,该框架致力于改变人们从互联网中提取数据的方式,让大家可以更高效地从互联网中爬取对应内容。
crawley框架的主要特点有:
1>高速爬取对应网站内容
2> 可以将爬取到内容轻松地存储到数据库中,比如:postgres,mysql,oracle,sqlite等数据库
3>可以将爬取到的数据导出为json,xml等格式
4>支持非关系型数据库,比如:mongodb,couchdb等
5>支持使用命令行工具
6>可以使用你喜欢的工具提取数据,比如使用xpath或者pyquery等工具
7>支持使用cookie登陆并访问哪些只有登陆才能够访问的网页
8>简单易学
3.portia框架
portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架,给出你要爬取的网页中感兴趣的数据内容,通过portia框架,可以将你所需要的信息从相似的网页中自动提取出来,如果需要,可以子啊github上的主页进行获取。如果需要,上百度自己查吧,,具体的我就不写了。
4.newspaper框架
newspaper框架是一种用来提取新闻、文章以及内容分析的python爬虫框架。更准确地说,newspaper是一个python的库,只不过这个库是由第三方开发的,可以归为一种框架。
newspaper框架在的主要特点:
1>比较简单
2>速度比较快
3>支持多线程
4>支持十多种语言
由此我们可以知道newspaper框架是轻量级框架,并且就爬取文章信息这一功能来说,使用起来很方便
5.Python-goose框架
coose本来是一款用java写的文章提取工具,Xavier Grangier用python重写了goose,并将重写后goose命名为python-goose。
所以,python-coose框架实现的功能同样是进行文章提取。
以上是python常用的5种框架,这是我知道,,如果各位大神,还有其他的 ,也可以留言,相互沟通,学习。另外后面3种框架可以再github上找到。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/134623.html原文链接:https://javaforall.cn
相关文章
- 【python教程入门学习】PyCharm下载和安装教程(包含配置Python解释器)
- python要不要装pycharm-Python和pyCharm安装
- python matplotlib 动态图_matplotlib怎么读
- python语言变量命名规则有什么_Python变量命名规则(超级详细)
- Python调用Prometheus监控数据并计算
- python之类与面向对象
- Python实现索伯尔算子[通俗易懂]
- python海龟绘图画圆_Python启蒙之海龟作图「建议收藏」
- 用python的pandas打开csv文件_如何使用Pandas DataFrame打开CSV文件 – python[通俗易懂]
- 怎么用python打开csv文件_Python文本处理之csv-csv文件怎么打开[通俗易懂]
- 如何用Python提取视频的某些帧并保存为图片
- 【说站】python copy模块中的函数使用
- 经纬度距离计算 python_Python已知两坐标求距离
- python如何生成随机数_Python生成50个随机数
- Python进制转换方法_Python自学第十节
- 【测试开发】python系列教程:Python注释和解释器
- Python生成条形码
- python-Python与MongoDB数据库-使用Python执行MongoDB查询(二)
- Linux python 自动补全详解编程语言
- Python学习:1.快速搭建python环境详解编程语言
- Python GIL全局解释器锁详解(深度剖析)
- Python Django框架是什么?
- 使用Python操作MySQL数据库快速上手(python访问mysql数据库)
- 构建基于PythonMSSQL的Web开发框架(python mssql 框架)
- 手动实现把python项目发布为exe可执行程序过程分享