当前栏目
scrapy获取html中所有的a链接,使用scrapy获取URL列表,然后在这些URL中抓取内容
我需要一个Scrapy Spider来为每个URL(30个产品,所以30个URL)抓取以下页面(https://www.phidgets.com/?tier=1&catid=64&pcid=57),然后通过该URL进入每个产品并抓取其中的数据。
我的第二部分完全按照我的意愿工作:
import scrapy
class ProductsSpider(scrapy.Spider):
name = "products"
start_urls = [
'https://www.phidgets.com/?tier=1&catid=64&pcid=57',
]
def parse(self, response):
for info in response.css('div.ph-product-container'):
yield {
'product_name': info.css('h2.ph-product-name::text').extract_first(),
'product_image': info.css('div.ph-product-img-ctn a').xpath('@href').extract(),
'sku': info.css('span.ph-pid').xpath('@prod-sku').extract_first(),
'short_description': info.css('div.ph-product-summary::text').extract_first(),
'price': info.css('h2.ph-product-price > span.price::text').extract_first(),
'long_description': info.css('div#product_tab_1').extract_first(),
'specs': info.css('div#product_tab_2').extract_first(),
}
# next_page = response.css('div.ph-summary-entry-ctn a::attr("href")').extract_first()
# if next_page is not None:
# yield response.follow(next_page, self.parse)
但是我不知道如何做第一部分。如你所见,我将主页(https://www.phidgets.com/?tier=1&catid=64&pcid=57)设置为start_url。但是,如何获取我需要抓取的所有30个网址填充到start_urls列表中呢?
相关文章
- SpringBoot监控工具之《Actuator》
- 前端面试 【JavaScript】— 函数的arguments为什么不是数组?如何转化成数组?
- 前端面试 【JavaScript】— JS如何实现继承?
- js逆向-猿人学(15-16)wasm-webpack
- js逆向-猿人学(14)备而后动-勿使有变
- Js逆向-猿人学(1)源码混淆
- Js逆向-猿人学(2)动态cookie
- Js逆向-猿人学(3-4)访问逻辑-样式干扰
- js逆向-猿人学(5)乱码混淆增强
- Js逆向の参数定位方法
- js逆向-猿人学(6)混淆回溯
- js逆向-猿人学(7-8)动态字体-图文点选
- js逆向-猿人学(9)动态cookie困难版
- js逆向-猿人学(10-11)js和app协议破解
- js逆向-猿人学(12-13)简易Js
- Selenium提高:JS操作和cookie处理
- 011:Django高级表单
- 020:Django电商网站逻辑导图
- Django:models查询和前后端交互
- Web机器人记录访问地和避免在动态虚拟web空间的循环和重复