urllib库的高级用法
用法 高级 urllib
2023-06-13 09:16:08 时间
# 1. 伪装自己
有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作
# 1.1 设置请求头
其中User-Agent
代表用的哪个请求的浏览器
代码如下:
from urllib.request import urlopen
from urllib.request import Request
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
request = Request(url, headers=headers)
response = urlopen(request)
page = response.read()
对付防盗链,服务器会识别headers中的referer是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer
代码如下:
headers = {
'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
'Referer':'http://www.zhihu.com/articles'
}
提示
在此可以使用多个User_Agent:然后随即选择
import urllib.request
import random
ua_list = [
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)",
"Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1",
"Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1",
"Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27",
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; QIHU 360EE)"
]
user_agent = random.choice(ua_list)
request = urllib.request.Request("http://www.baidu.com")
request.add_header("User-Agent",user_agent)
#区分大小写
print(request.get_header("User-agent"))
# 1.2 设置代理Proxy
假如一个网站它会检测某一段时间某个IP 的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,网站君都不知道是谁在捣鬼了,这酸爽!
# 分类:
透明代理:目标网站知道你使用了代理并且知道你的源IP地址,这种代理显然不符合我们这里使用代理的初衷
匿名代理:匿名程度比较低,也就是网站知道你使用了代理,但是并不知道你的源IP地址
高匿代理:这是最保险的方式,目标网站既不知道你使用的代理更不知道你的源IP
代码如下:
from urllib.request import ProxyHandler
from urllib.request import build_opener
proxy = ProxyHandler({"http": "119.109.197.195:80"})
opener = build_opener(proxy)
url = "http://www.baidu.com"
response = opener.open(url)
print(response.read().decode("utf-8"))
# 2 使用DebugLog
可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,这个也不太常用,仅提一下
from urllib.request import HTTPHandler
from urllib.request import build_opener
from urllib.request import Request
handler = HTTPHandler(debuglevel=1)
opener = build_opener(handler)
url = "http://www.sohu.com"
request = Request(url)
response = opener.open(request)
相关文章
- NotePad++ 正则表达式替换 高级用法[通俗易懂]
- c++中decltype_find的用法归纳
- JavaScript——ES6模块化与异步编程高级用法
- java8系列05——方法引用与流的高级用法
- listview排序功能_listview用法
- Scalable_scared用法
- Linux下top命令高级用法详解
- ChatGPT高级用法
- Python sorted函数及用法
- java 标准输出与标准错误 out与 err 区别 用法 联系 java中的out与err区别 System.out和System.err的区别 System.out.println和System.err.println的区别 Java重定向System.out和System.err详解编程语言
- GDB print命令高级用法
- MySQL数据库知识大全,详解MySQL的各种用法,包括基础语法、高级应用等。涵盖广泛,适合初学者及进阶者。(mysql大全)
- MySQL函数大全,从基础函数到高级函数,用法详解(mysql中使用的函数)
- Chloe实现MySQL数据库的最佳用法(chloe.mysql)
- MySQL中双竖杠的作用与用法(mysql中双竖杠)
- 快速学习MySQLinsert的用法及注意事项(mysql_insert)
- MySQL的不等于运算符用法及作用解析(mysql 不等于字段)
- Oracle应用程序更加多样化非等效用法(oracle不等于用法)
- sqlserver存储过程中IfElse的用法实例
- python函数参数*args**kwargs用法实例
- Javascript闭包用法实例分析
- PHP数组排序之sort、asort与ksort用法实例