Scrapy 实现爬取多页数据 + 多层url数据爬取
项目需求:爬取https://www.4567tv.tv/frim/index1.html网站前三页的电影名称和电影的导演名称
项目分析:电影名称在初次发的url返回的response中可以获取,可以通过对url进行字符串拼接的方式动态获取前三页的url,但是导演名称必须点击具体电影的链接地址才可以得到,所以第一次url返回的response中一定包含电影详情的链接,通过数据解析的方式获取电影详情链接,再次对电影的详情链接发起请求,得到相关的导演数据
爬虫文件起名为movie.py
import scrapy
from moviePro.items import MovieproItem
page
def parse(self, response):
li_list = response.xpath('//li[@class="col-md-6 col-sm-4 col-xs-3"]')
for li in li_list:
item = MovieproItem() #实例化item对象
name = li.xpath('./div/a/@title').extract_first()
detail_url = 'https://www.4567tv.tv'+li.xpath('./div/a/@href').extract_first()
item['name'] = name
#meta参数:请求传参.meta字典就会传递给回调函数的response参数
#在解析过程中产生新的url,需要对新的url再次发起请求时,yield 手动调用scrapy.Request方法对象,
yield scrapy.Request(url=detail_url,callback=self.parse_detail,meta={'item':item})
import scrapy
items.py
持久化存储可根据具体需求去做
转载于:https://www.cnblogs.com/fengchong/p/10473402.html
相关文章
- 直接在代码里面对list集合进行分页
- .NET Framework 4.5新特性详解
- 大数据的简要介绍
- 大数据的由来
- 高斯混合模型的自然梯度变量推理
- timing-wheel 仿Kafka实现的时间轮算法
- 使用Navicat软件连接自建数据库(Linux系统)
- 那一天,我被Redis主从架构支配的恐惧
- Redis 深入了解键的过期时间
- C#使用委托调用实现用户端等待闪屏
- 基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统
- GRAND | 转录调控网络预测数据库
- JFreeChart API中文文档
- 临床相关突变查询数据库
- TIGER | 人类胰岛基因变化查询数据库
- 视频边缘计算网关EasyNVR在视频整体监控解决方案中的应用分析
- Apache Arrow - 大数据在数据湖后的下一个风向标
- 常见的电商数据指标体系
- AKShare-艺人数据-艺人流量价值
- MySQL中多表联合查询与子查询的这些区别,你可能不知道!