Python爬虫报错:Max retries exceeded with url
2023-09-11 14:14:47 时间
1.http连接太多没有关闭导致的,解决方法:
import requests
requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数
s = requests.session()
s.keep_alive = False # 关闭多余连接
s.get(url) # 你需要的网址
2.访问次数频繁,被禁止访问,解决方法:使用代理
import requests
s = requests.session()
url = "https://mail.163.com/"
s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", }
s.headers = header
s.get(url)
查找代理的网址:
http://ip.zdaye.com/shanghai_ip.html#Free
使用代理时需注意:
- 代理分为http和https两种,不能用混,如果把http的代理用作https也是会报上面的错误;
- 上面的代理以字典格式传入,例如上面的例子,可以是“47.100.104.247:8080”这种格式,也可以是“https://47.100.104.247:8080”这种格式;
- 如果代理不可用一样会报上面的错误。
以下方法判断代理是否可用:
import requests
s = requests.session()
url = "https://mail.163.com/"
s.keep_alive = False
s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", }
s.headers = header
r = s.get(url)
print r.status_code # 如果代理可用则正常访问,不可用报以上错误
相关文章
- Python开源机器学习框架:Scikit-learn六大功能,安装和运行Scikit-learn
- python爬虫知识点总结(四)Requests库的基本使用
- Python打包二进制文件cython介绍及使用
- 零基础小白学习python七部曲!学习python轻松又简单
- python函数的用法详解(作用、定义、调用、函数参数、函数返回值、函数说明文档、函数嵌套使用)
- 【赶快收藏】15道Python常见面试题及答案!
- 《精通Python网络爬虫:核心技术、框架与项目实战》——3.5 身份识别
- gyp ERR! stack Error: Can‘t find Python executable “python“, you can set the PYTHON env variable.
- 【Python】【Flask】框架
- 【python爬虫】使用代理IP进行网站爬取
- 阿里云函数计算支持 Python 运行环境
- python爬虫入门(二)Opener和Requests
- 【华为OD机试真题 java、python、c++】最大报酬(100%通过+复盘思路)
- 1. python爬虫基础知识和简单爬取
- 用Python编写博客导出工具
- Python 框架 之 Django MVT 下的 M 的 模型的简单介绍和使用
- Unity 工具 之 报错 Jenkins 执行/调用 Python 脚本,报错提示 ‘python‘ 不是内部或外部命令,也不是可运行的程序或批处理文件
- 【Python爬虫】:使用高性能异步多进程爬虫获取豆瓣电影Top250
- Python开源爬虫项目代码:抓取淘宝、京东、QQ、知网数据--转
- 【Linux学习笔记】解决:yum install python-dev 报错(CentOS安装Python-dev库)