您现在的位置是：首页 > Python

当前栏目

python scrapy request_python——scrapy中Request参数

2023-02-26 12:36:52 时间

介绍

Request类是一个http请求的类，对于爬虫而言是一个很重要的类。通常在Spider中创建这样的一个请求，在Downloader中执行这样的一个请求。同时也有一个子类FormRequest继承于它，用于post请求。

在Spider中通常用法： yield scrapy.Request(url = 'zarten.com')

类属性和方法有：

url

method

headers

body

meta

可用户自定义从Request到Response传递参数，这个参数一般也可在middlewares中处理

yield scrapy.Request(url = 'zarten.com', meta = \{'name' : 'Zarten'\})

在Response中：

my\_name = response.meta\['name'\]

不过也有scrapy内置的特殊key，也非常有用，它们如下：

proxy

设置代理，一般在middlewares中设置

可以设置http或https代理

request.meta\['proxy'\] = 'https://' + 'ip:port'

download\_timeout

设置请求超时等待时间(秒)，通常在settings中设置DOWNLOAD\_TIMEOUT，默认是180秒(3分钟)

最大重试次数(除去第一次下载)，默认为2次，通常在settings中 RETRY\_TIMES设置

dont\_redirect

设为True后，Request将不会重定向

dont\_retry

设为True后，对于http链接错误或超时的请求将不再重试请求

http返回码200-300之间都是成功的返回，超出这个范围的都是失败返回，scrapy默认是过滤了这些返回，不会接收这些错误的返回进行处理。不过可以自定义处理哪些错误返回：

yield scrapy.Request(url= 'https://httpbin.org/get/zarten', meta= \{'handle\_httpstatus\_list' : \[404\]\})

在parse函数中可以看到处理404错误：

def parse(self, response):

print('返回信息为：',response.text)

![567bc9074d7e8a7f68d802e4f8e31cef.png][]

![8c842fb3cb801cef42a820acb6913186.png][]

设为True后，Response将接收处理任意状态码的返回信息

scrapy会自动保存返回的cookies，用于它的下次请求，当我们指定了自定义cookies时，如果我们不需要合并返回的cookies而使用自己指定的cookies，可以设为True

可以在单个spider中追踪多个cookie，它不是粘性的，需要在每次请求时都带上

def start\_requests(self):

urls = \['http://quotes.toscrape.com/page/1',

'http://quotes.toscrape.com/page/3',

'http://quotes.toscrape.com/page/5',

for i ,url in enumerate(urls):

yield scrapy.Request(url= url, meta= \{'cookiejar' : i\})

def parse(self, response):

next\_page\_url = response.css("li.next > a::attr(href)").extract\_first()

if next\_page\_url is not None:

yield scrapy.Request(response.urljoin(next\_page\_url), meta= \{'cookiejar' : response.meta\['cookiejar'\]\}, callback= self.parse\_next)

def parse\_next(self, response):

print('cookiejar:', response.meta\['cookiejar'\])

![d0be446d3cb0c83f110edd2d6a7a1e80.png][]

![4f67690d4a7189b201cb60522c60ba75.png][]

设为True后，不会缓存

暂时还不清楚具体的作用，知道的小伙伴们欢迎在评论留言

绑定输出IP

设为True，不遵守robots协议，通常在settings中设置

设置下载器最大下载的大小(字节)，通常在settings中设置DOWNLOAD\_MAXSIZE，默认为1073741824 (1024MB=1G)，若不设置最大的下载限制，设为0

只读属性，获取请求的响应时间(秒)

def start\_requests(self):

headers = \{

'user-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'

yield scrapy.Request(url= 'https://www.amazon.com', headers= headers)

def parse(self, response):

print('响应时间为：', response.meta\['download\_latency'\])

![8855c7719ddbc28da655a992ff90858a.png][]

![6a5e84095ef8707233512b8d835d09df.png][]

很少用到，详情看这里

FormRequest

FormRequest 类为Request的子类，用于POST请求

这个类新增了一个参数 formdata，其他参数与Request一样，详细可参考上面的讲述

一般用法为:

yield scrapy.FormRequest(url="http://www.example.com/post/action",

formdata=\{'name': 'Zarten', 'age': '27'\},

callback=self.after\_post)

[5c8d878c5dfcf8c275245099df1828f0.png]: /images/20221024/fa0c5a4be13f464dabea5ed1f9e82e5d.png
[946df913849c76d9ee77372342b66cc8.png]: /images/20221024/fcc266c56aeb4833877f10b155457428.png
[567bc9074d7e8a7f68d802e4f8e31cef.png]: /images/20221024/fdae11f9cad04cb6aeeacf4d75e0dcf8.png
[8c842fb3cb801cef42a820acb6913186.png]: /images/20221024/fc3d6a7ad90d4c25b0f8ac59a102c642.png
[d0be446d3cb0c83f110edd2d6a7a1e80.png]: /images/20221024/1749bcb8b52742428a4f376605ab316b.png
[4f67690d4a7189b201cb60522c60ba75.png]: /images/20221024/15296b49f632474aa68002c0385f09bf.png
[8855c7719ddbc28da655a992ff90858a.png]: /images/20221024/6602a0121ee546dcaf4cbe81c5ff5b96.png
[6a5e84095ef8707233512b8d835d09df.png]: /images/20221024/196f4340605542568d07648485013913.png

猜你喜欢

最长无重复子串
写技术博客的一些心得分享
Java 多线程（七）：线程池
Java 多线程（五）：锁（三）
Java 多线程（四）：锁（二）
Java 多线程（三）：锁（一）
Java 多线程（二）：并发编程的三大特性
线性时间非比较类排序
Java 多线程（一）：基础
合并k个已排序的链表
HDFS 高可用分布式环境搭建
合并两个有序数组
连续子数组的最大和
HDFS 分布式环境搭建
容器盛水问题
大数加法
HDFS 伪分布式环境搭建
设计LRU缓存结构
两数之和
使用单调栈来解决的一些问题

zl程序教程

当前栏目

python scrapy request_python——scrapy中Request参数

相关文章