如何使用 Python 请求网络资源
很长时间以来我们都在分享 Linux 系统相关的知识,所以可能会有朋友误以为我们只分享 Linux 操作相关的东西,其实不是啊,我们在平时开发过程中遇到的一些问题,感觉可以总结的,都有可能拿来分享。
最近在写一个定时访问网络资源的程序,里面涉及到使用 python 访问网络,所以我们今天就对这一个点做一个简短的总结。
使用 python 访问网络资源
要访问网络中的资源,有些朋友可能会使用 urllib.request,这个模块也是一个 python 的标准库。不过我们使用的是 requests,它是 urllib.request 的封装,使用起来更方便。 如果是第一次使用的话,需要安装 requests,我们使用 pip 安装:
安装成功后,就可以直接使用了,使用的时候,需要在 python 文件的上方引入:
为了方便演示,我们使用 requests 模块访问一下 github 上星最高的 python 项目,地址为:
https://api.github.com/search/repositories?q=language:python&sort=stars
为了有一个整体的认识,大家可以先使用浏览器打开这个地址,看看里面的内容,它是一个以 json 格式展现的文本。
然后我们新建一个 test-resp.py 的文件,里面输入如下代码:
上述代码中第 1 行为引入 requests 模块,第 2 行将待访问地址存储到 url 变量中,第 3 行使用 requests 模块的 get 方法来访问这个 url,并将响应存储在变量 get_resp 中。这个响应是一个对象,包含请求资源的内容和状态。可以打印一下这个响应的状态,使用 status_code 对象,如下代码:
结果如下:
当然,也可以打印出响应的文本,即打印 get_resp.text,不过这个文本没有格式化,不易读,如下图所示:
上图我们只截取了结果的一部分,因为太长了... 这个结果解析起来是比较麻烦的,不过完全不用担心,简单看一下其内容我们就可以注意到,其内容是一个json格式的,所以响 应结果也是一个 json,而 python 对 json 的解析功能是很强大的,如下我们可以打印出这个 json 的 key 值:
结果如下:
由上结果可以知道,我们完全可以将这个响应结果当作一个 json 对象来处理。比如,上述结果中的第一个 keyi 值 total_count,其表示 python 仓库的总数,我们可以将这个数值打印出来,如下所示:
其运行结果如下:
如果读取的网络资源,是普通的 html 格式,可以使用一个第三方库 BeautifulSoup,可以完美解决 html 解析。关于BeautifulSoup我们在之前的文章中也介绍过,大家可以参考:使用 Python 的 Beautiful Soup 库来分析网页
添加请求头信息
有些网络资源对于请求的响应可能做了限制,比如阻止机器人(程序)访问,或者需要登录(有用户会话)才能访问,为此,可以在请求中添加请求头,在请求头中模拟浏览器,添加用户会话信息(token)等。如下所示:
上述代码中,headers 对象中的 User-Agent 为模拟的浏览器信息,Authorization 为请求令牌。 也可以按需添加其他请求头信息,如下所示:
其他
上面我们使用的例子,都是处理的 get 请求,对于 post 请求也同样适用,使用 requests 的 post 方法,如下:
使用方法与 get 请求完全相同。
以上就是我们本次分享全部内容,欢迎讨论。
相关文章
- 基于Python的人脸识别考勤监控
- Python答题游戏
- Python调用百度API实现图像识别
- Python全栈疫情分析项目
- Python-基础-if语句快速入门
- Python-基础-循环语句快速入门
- Python-GUI签名
- 【2】VScode 搭建python和tensorflow环境
- python 简易时钟
- 【1】windows系统如何安装后缀是whl的python库
- 【2】超级详细Python-matplotlib画图,手把手教你画图!(线条颜色、大小、线形、标签)
- 【4】python读写文件操作---详细讲解!
- 【2】Anaconda下:ipython文件的打开方式,Jupyter Notebook中运行.py文件,快速打开ipython文件的方法!
- 【编写环境一】遇到常见python函数处理方式
- 【编写环境二】python库scipy.stats各种分布函数生成、以及随机数生成【泊松分布、正态分布等】
- Python xlwt数据保存到 Excel中以及xlrd读取excel文件画图
- 强化学习技巧三:Python多进程
- 强化学习技巧五:numba提速python程序
- 【7】python_matplotlib 输出(保存)矢量图方法;画图时图例说明(legend)放到图像外侧;Python_matplotlib图例放在外侧保存时显示不完整问题解决
- 【8】python_matplotlib改变横坐标和纵坐标上的刻度(ticks)、sagemath-list_plot()调整图例(legend)中点的数量、Matplotlib画各种论文图