zl程序教程

您现在的位置是:首页 >  后端

当前栏目

爬虫日记(32):使用FormRequest获取豆瓣电影数据

爬虫数据 获取 日记 32 电影 豆瓣 使用
2023-09-14 09:10:04 时间

前面发送的请求,都是使用Request对象来发送,这是一般的请求对象,但是除了这些请求之外,其实还有表单的请求,这时再使用这个请求来发送,就比较麻烦一些,需要使用Request类的子类FormRequest来发送。

 

豆瓣网上有很多电影评价,在上面会显示电影的名称和分数。由于我们都是电影的粉丝,常常根据电影上的评分来选择观看电影的顺序,毕竟人的生命是有限的,总是想在有限的时间内看到大家喜欢的内容,这样大家才讨论共同话题,才能不与社会脱节。因此,我们需要一个工具,把豆瓣上的电影标题和评分抓取下来,然后发送到邮箱里。

 

为此去打开https://movie.douban.com/网站,然后搜索整个网页的内容,都没有找到电影的标题和评分。这时候想直接从网页里抓取这些信息,就落空了。那么怎么办呢?这时就需要使用chrome的开发者工具,跟前面一样祭出开发工具的法宝来分析整个网站的交互过程。如下图所示: