爬虫日记(32):使用FormRequest获取豆瓣电影数据
2023-09-14 09:10:04 时间
前面发送的请求,都是使用Request对象来发送,这是一般的请求对象,但是除了这些请求之外,其实还有表单的请求,这时再使用这个请求来发送,就比较麻烦一些,需要使用Request类的子类FormRequest来发送。
豆瓣网上有很多电影评价,在上面会显示电影的名称和分数。由于我们都是电影的粉丝,常常根据电影上的评分来选择观看电影的顺序,毕竟人的生命是有限的,总是想在有限的时间内看到大家喜欢的内容,这样大家才讨论共同话题,才能不与社会脱节。因此,我们需要一个工具,把豆瓣上的电影标题和评分抓取下来,然后发送到邮箱里。
为此去打开https://movie.douban.com/网站,然后搜索整个网页的内容,都没有找到电影的标题和评分。这时候想直接从网页里抓取这些信息,就落空了。那么怎么办呢?这时就需要使用chrome的开发者工具,跟前面一样祭出开发工具的法宝来分析整个网站的交互过程。如下图所示:
相关文章
- 第三百六十七节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)scrapy写入数据到elasticsearch中
- 第三百四十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—爬虫数据保存
- 社会化海量数据采集爬虫框架搭建
- 爬虫部署-1,服务端安装使用scrapyd,客户端安装scrapy-client,利用scrapy-client 发布爬虫到远程服务端
- Atitit 大数据体系图 大数据 技术 数据采集 gui自动化 爬虫 Nui自动化 Ocr技术 Tts语音处理 文档处理(office zip等) html文档处理解析 转
- Atitit.数据检索与网络爬虫与数据采集的原理概论
- 100天精通Python(爬虫篇)——第45天:lxml库与Xpath提取网页数据(基础+代码实战)
- Python爬虫案例:下载文章数据,转制成PDF格式
- 新数据革命: 开源C#图形化爬虫引擎Hawk5发布
- python爬虫模块之数据存储模块
- Python爬虫:使用newspaper解析新闻页面信息
- Python爬虫:利用aiowebsocket库抓取WebSocket数据
- 爬虫练习3 爬取堆糖网校花照片
- Nodejs实现爬虫抓取数据
- 爬虫日记(36):Flask的安装
- 爬虫日记(20):使用Pipeline模块写入文件
- Python爬虫入门之爬虫解析提取数据的四种方法
- 爬虫5 html下载器 html_downloader.py
- 案例:数据提取/数据获取/爬虫—工具篇—影刀
- 如何学习 python 爬虫?
- 【爬虫实践】获取某城市天气数据