Python爬虫常用哪些库?
经常游弋在互联网爬虫行业的程序员来说,如何快速的实现程序自动化,高效化都是自身技术的一种沉淀的结果,那么使用Python爬虫都会需要那些数据库支持?下文就是有关于我经常使用的库的一些见解。
请求库:
1、urllib:urllib库是Python3自带的库(Python2有urllib和urllib2,到了Python3统一为urllib),这个库是爬虫里最简单的库。
2、requests:requests属于第三方库,使用起来比urllib要简单不少,且功能更加强大,是最常用的请求库。
3、Selenium:Selenium属于第三方库,它是一个自动化测试工具,可以利用它自动完成浏览器的操作,如点击,下拉,拖拽等等,通常完成ajax复杂的操作。
解析库:
1、lxml:属于第三方库,支持HTML和xml的解析,支持XPath的解析方式,解析效率非常高。
2、Beautiful Soup:属于第三方库,API强大,使用也方便。
3、pyquery:属于第三方库,功能强大在于css选择器上,对jQuery比较了解的话使用pyquery将会十分方便,因此我也比较推荐使用pyquery。
存储库:
1、PyMySQL:MySQL作为最常用的数据库之一,PyMySQL也是爬虫后存储数据的非常好的选择,它可以实现对数据库的创建表,增删查改等操作。
2、PyMongo:PyMongo是和MongoDB进行交互的库。
3、redis-py:redis-py是和Redis进行交互的库。
图像识别库:
1、tesserocr:tesserocr是Python使用OCR技术来识别图像,本质是对tesseract做一层API的封装,所以在安装tesserocr之前必须先安装tesseract。
爬虫框架
1、pyspider:pyspider 是由国人 binux 编写的强大的网络爬虫系统,它带有强大的 WebUI、脚本编辑器、任务监控器、项目管理以及结果处理器,它支持多种数据库后端、多种消息队列、JavaScript 渲染页面的爬取。依赖库有PhantomJS。
2、Scrapy:功能极其强大,依赖库较多。
相关文章
- [python] 基于diagrams库绘制系统架构图
- [OpenCV实战]40 计算机视觉工具对比
- netty系列之:netty中的Channel详解
- python3参考秘籍-附PDF下载
- 由于不当的执行顺序导致的死锁
- Spring5参考指南:SpringAOP简介
- 自动化网络验证以实现更顺利变更
- 基于 MaxCompute 分布式 Python 能力的大规模数据科学分析
- Flink 1.14 新特性预览
- API网关:第8层网络
- Python 开发人员正在为医疗保健创建颠覆性的 AI 应用程序
- 如何在Python中创建和使用虚拟环境
- 常用的分布式事务都有哪些?我该用哪个?
- 在 Python中处理大型机器学习数据集的简单方法
- 六个优秀的可解释AI (XAI)的Python框架推荐
- Python虚拟环境很简单,看完你就会了
- 总结几个简单好用的Python人脸识别算法
- 又是好兄弟 爱立信与三星和解专利纠纷
- Flink分布式程序的异常处理
- 好用的 Python 虚拟环境,没有之一