zl程序教程

您现在的位置是:首页 >  后端

当前栏目

爬虫之requests模块超时参数timeout的使用

爬虫模块 参数 超时 requests timeout 使用
2023-09-11 14:15:15 时间

爬虫之requests模块超时参数timeout的使用

在平时网上冲浪的过程中,我们经常会遇到网络波动,这个时候,一个请求等了很久可能任然没有结果。

在爬虫中,一个请求很久没有结果,就会让整个项目的效率变得非常低,这个时候我们就需要对请求进行强制要求,让他必须在特定的时间内返回结果,否则就报错。

  1. 超时参数timeout的使用方法

    response = requests.get(url, timeout=3)    【默认是180s,这个时间有点长】

  2. timeout=3表示:发送请求后,3秒钟内返回响应,否则就抛出异常

示例代码:

import requests


url = 'https://twitter.com'
response = requests.get(url, timeout=3)     # 设置超时时间

运行效果: