爬虫之requests模块超时参数timeout的使用
2023-09-11 14:15:15 时间
爬虫之requests模块超时参数timeout的使用
在平时网上冲浪的过程中,我们经常会遇到网络波动,这个时候,一个请求等了很久可能任然没有结果。
在爬虫中,一个请求很久没有结果,就会让整个项目的效率变得非常低,这个时候我们就需要对请求进行强制要求,让他必须在特定的时间内返回结果,否则就报错。
-
超时参数timeout的使用方法
response = requests.get(url, timeout=3) 【默认是180s,这个时间有点长】
-
timeout=3表示:发送请求后,3秒钟内返回响应,否则就抛出异常
示例代码:
import requests
url = 'https://twitter.com'
response = requests.get(url, timeout=3) # 设置超时时间
运行效果:
相关文章
- Python爬虫之 正则表达式和re模块
- python爬虫知识点总结(十二)使用Redis和Flask维护动态代理池
- scrapy爬虫框架setting模块解析
- 新手入门版,自学python爬虫?
- 如何学习Python爬虫[入门篇]?
- 爬虫之lxml模块中etree.tostring函数的使用
- 爬虫之requests模块发送post请求
- 26 爬虫 - re 正则 split 方法
- 21 爬虫 - python的 re 模块
- 96 爬虫 - scrapy-redis实战(七)
- 超简单BeautifulSoup版Csdn博客(摘要视图)爬虫
- Python爬虫技术--基础篇--常用第三方模块chardet和psutil
- Python爬虫技术--基础篇--内建模块XML和HTMLParser
- Python爬虫技术--基础篇--内建模块base64
- [爬虫]Python爬虫基础
- python网络爬虫 - 如何伪装逃过反爬虫程序
- 网络爬虫解决无法定位页面中iframe数据框
- SwiftUI 编写爬虫App获取网络资源Crawler 教程含源码
- [js高手之路]Node.js+jade+mongodb+mongoose实现爬虫分离入库与生成静态文件
- 爬虫_监控某个元素所有事件
- Python学习---爬虫学习[requests模块]180411
- 【Python爬虫】:使用高性能异步多进程爬虫获取豆瓣电影Top250
- SHELL网络爬虫实例剖析--转载
- python爬虫之reuqests库,及基本使用