您现在的位置是：首页 > 数据库

当前栏目

Python 14:Python网络请求模块

网络模块数据

2023-02-26 12:32:22 时间

# Python网络请求模块 #

--------------------

## 介绍 ##

Python标准库中自带了网络请求模块urllib,这个库比较好用,还有一个第三方网络请求模块requests也非常的人性化设计,值得学习一下。
    
    个人比较喜欢使用requests函数库，因为简单人性化

--------------------

## 标准库urllib使用 ##

python2.x
    标准库下的网络请求模块比较散乱有两个包urllib和urllib2使用起来并不方便,所以不推荐。
    
    Python3.x
    标准库下的网络请求模块梳理的比较好,只有urllib包使用起来还是非常方便的。
    
    网络请求模块还是非常重要的一个模块，因为当今互联网不可能离开网络。

urllib is a package that collects several modules for working with URLs:

urllib.request          for opening and reading URLs
    urllib.error            containing the exceptions raised by urllib.request
    urllib.parse            for parsing URLs
    urllib.robotparser      for parsing robots.txt files

**get请求**

url="http://www.qq.com"
    res=urllib.request.urlopen()
    
    如果有查询参数
    url="http://www.qq.com?"
    params={"key1":value1,"key2":value2} 
    query_data=urllib.parse.urlencode(params) # key2=value2&key1=value1
    query_url=url+query_data
    
    res=urllib.request.urlopen(query_url)
    
    备注:这是python3.x的写法,如此看来使用标准库确实不是很人性化啊,太尼玛啰嗦了。

**post请求**

url="http://www.qq.com"
    # 请求头
    headers = {'User-Agent':"Mozilla5.5"}
    # post请求数据
    postdata={"key1":value1,"key2":value2}
    data=urllib.parse.urlencode(postdata)
    # 封装post请求方法
    req=urllib.request.Request(url,data=data,headers)
    
    res=urllib.request.urlopen(req)

**关于response的一些操作方法**

# 获得响应状态码
    status_code=res.getcode()
    print("响应状态码:", status_code)
    print("-"*80)
    # 获得响应内容
    text = res.readline()
    print("响应内容数据:", text.decode("utf-8"))
    print("-"*80)
    # 返回一个httplib.HTTPMessage对象,表示远程服务器返回的头信息.(服务器响应信息)
    info = res.info()
    print(info)
    print("-" * 80)
    # 获得返回请求url
    res_url = res.geturl()
    print("返回请求url:", res_url)
    
    
    
    关于urllib模块的总结就是真心不好用啊。

--------------------

## 优秀第三方requests库使用 ##

### 发送请求 ###

def function():
    
    # 发送get请求获得一个response对象(我们可以从响应对象获得我们想要的一切数据)
    res = requests.get("https://api.github.com/events")
    
    # 发送post请求
    res = requests.post("http://httpbin.org/post",data={"key":"value", ...})
    
    # 发送put请求
    res = requests.put("http://httpbin.org/put",data={"key":"value", ...})
    
    # 发送delete请求
    res = requests.delete("http://httpbin.org/delete")
    
    res = requests.head("http://httpbin.org/get")
    res = requests.options("http://httpbin.org/get")
    
    pass
    //你没看错就是那么简单,非常符合正常人的思维很简便
    //再次强调我们能够从response对象中获得我们想要的一切数据信息

### 构造请求参数发送请求 ###

**get请求参数构造**

def function():
    # 请求参数
    payload = {'key1': 'value1', 'key2': 'value2'}
    
    res = requests.get("http://httpbin.org/get",params=payload)# 注意是params参数
    
    # requests 会自动帮我们拼接请求地址
    # url= http://httpbin.org/get?key1=value1&key2=value2
    
    //针对get请求使用的即使params参数，post请求使用的是data参数

--------------------

**post form表单请求参数构造**

def function():
    # form表单要提交的数据
    payload = {'key1': 'value1', 'key2': 'value2'}
    
    res = requests.post("http://httpbin.org/post",data=payload)# 注意是data参数

--------------------

**post json对象请求提交参数**

def function():
    # post 提交json对象数据
    payload = {'key1': 'value1', 'key2': 'value2'}
    
    res = requests.post("http://httpbin.org/post",data=json.dumps(payload))# 第一种方式
    
    res = requests.post("http://httpbin.org/post",json=payload)# 第二种方式

**构造请求头headers**

def function():
    
    # 构造请求头,请求头也是字典格式
    headers = {'user-agent': 'my-app/0.0.1'}
    url = "https://api.github.com/some/endpoint"
    
    res = requests.get(url,headers=headers)

**构造cookies请求**

def function():
    # 构造cookies
    cookies = dict(sessionId='Jsession3123131')
    url = "http://httpbin.org/cookies"
    requests.get(url,cookies=cookies)
    //比如有些应用可能需要携带某些cookie才能验证授权，那么此时就很有用了

**构造请求超时设置**

def function():
    # 设置请求超时时间
    requests.get('http://github.com', timeout=0.01) # 0.01秒没响应就请求超时失败

--------------------

### Response响应内容 ###

content = res.content(原始二进制数据)
    
    # 大部分情况使用这个方法
    text = res.text(文本数据信息，requests自动帮我们以指定编码解析出来的内容)
    
    # 响应json数据信息，通常我们使用json模块来处理
    json_data = res.json()
    
    # 响应状态码
    status_code=res.status_code
    
    # 响应头
    headers = res.headers
    
    # 响应cookies
    cookies = res.cookies

**总结:**

一句话requests函数库非常的简便 for humans,做网络爬虫时也可以使用该库函数。

--------------------

## 总结 ##

网络请求模块是比较重要的一个模块要好好掌握，借组优秀便捷的第三方库函数完成自己的需求我觉得这是高效的。

## 参考 ##

1、[http://docs.python-requests.org/en/latest/user/quickstart/][http_docs.python-requests.org_en_latest_user_quickstart]  
2、[http://docs.python-requests.org/en/latest/user/advanced/\#advanced][http_docs.python-requests.org_en_latest_user_advanced_advanced]  
3、[http://docs.python-requests.org/en/latest/][http_docs.python-requests.org_en_latest]

[http_docs.python-requests.org_en_latest_user_quickstart]: http://docs.python-requests.org/en/latest/user/quickstart/
[http_docs.python-requests.org_en_latest_user_advanced_advanced]: http://docs.python-requests.org/en/latest/user/advanced/#advanced
[http_docs.python-requests.org_en_latest]: http://docs.python-requests.org/en/latest/

猜你喜欢

技术分享 | Redis 之分布式锁
取代OpenFeign：Spring Framework 6全新声明式客户端@HttpExchange
故障分析 | MySQL死锁案例分析
函数节流，CSS也能轻松实现：CSS防止按钮重复点击
A*算法简介及例题
33 个重要的 JavaScript 概念，你学会几个？
Mybatis核心类SqlSessionFactory，看完我悟了
2023年15个Kubernetes优秀实践
AIGC最近很火，给大家推荐一个已经有1000位开发者使用的中文aigc开源模型，包括ai画图、ai聊天
论文拾萃|禁忌搜索在随机仿真优化应用中的最优预算分配策略
运筹教学|快速掌握单纯形法(附java代码)
论文拾萃 | PISTS算法求解obnoxious p-median problem (附Python代码）
运筹学教学|运输问题代码分享（Java代码及详细注释）
基于求解器的路径规划算法实现及性能分析
数据魔术师带你体验全新的人工智能聊天机器人ChatGPT！
运筹学教学 | 分配问题代码分享（Java代码及详细注释）
高效阅读是怎样影响技术大咖的？TVP读书会带你解密！
下一个行业风口：NFT 数字藏品，是机遇还是泡沫？
5G正当时，无人驾驶未来将驶向何方？
科技向善：向物业数字化进化，让社区变得更美好！

zl程序教程

当前栏目

Python 14:Python网络请求模块

相关文章