第八天 Python爬虫之Rquests库&&打码平台的简单使用
2023-09-11 14:19:57 时间
@作者 : SYFStrive
@博客首页 : HomePage
🥧 上一篇续文传送门
📌:个人社区(欢迎大佬们加入) 👉:社区链接🔗
📌:如果觉得文章对你有帮助可以点点关注 👉:专栏连接🔗
🥧: 感谢支持,先给大佬跳支舞😀
🔗:阅读文章
📋目录
🥧Rquests VS Urlib对比
- 更为便捷:因为requests可以直接构造get,post请求并发起,而urllib.request只能先构造get,post请求,再发起。
- requests是对urllib的进一步封装,因此在使用上显得更加的便捷,建议在实际应用当中尽量使用requests。
- 方法是死的,人是活的,这只是一种建议(做爬虫更需要大量的经验来应付复杂的网络情况。)希望大家一起探讨学习, 一起进步💪。
🥧分享Rquests 官方两句很逗的话
-
Requests 唯一的一个(就是只属于Python使用的库👍)的 Python HTTP 库,人类可以安全享用。
-
:、、、
🥧Requests使用前准备
- 文档如👇
- 安装
- 安装语法:pip install requests
- Response之(一个类六个属性)
- 类型 :models.Response
- r.text : 获取网站源码
- r.encoding :访问或定制编码方式
- r.url :获取请求的url
- r.content :响应的字节类型
- r.status_code :响应的状态码
- r.headers :响应的头信息
📰代码演示:
如下图(成功🆗):
- 总结: print(requ.text) 👉 结合Xpath、ba4、jsonpath…… 👉 完成爬虫
🥧Response之(一个类六个属性) VS Urllib之(一个类六个方法)
Urllib链接👉:链接
🥧Response案例 VS Urllib案例
- urllib:
- 一个类型以及六个方法
- get请求
- post请求 百度翻译 或 详细翻译
- 前后端分离 之 get请求
- 前后端分离 之 post请求
- cooki登录 微博等
- 代理
…… 案例链接
- requests
- 一个类以及六个属性
- get 请求
- post 请求
- 代理
- cookie 验证码
🥧Response之🔍get请求简单使用
📰代码演示:
如下图(成功🆗):
🥧get请求小总结 :
- 参数使用params传递
- 参数无需encode编码
- 不需要请求对象的定制
- 请求资源(url)中的 ? 可以加也可以不加
- 仁者见仁智者见智喜欢用哪个都行💪
🥧Response之🔍详细翻译post请求简单使用
📰代码演示:
如下图(成功🆗):
🥧post请求小总结 :
- post请求 是不需要编解码
- post请求的参数是data
- 不需要请求对象的定制
👮♂️代理使用
说明:当我们快速爬取一个网站是,会导致网站崩溃 这时可以使用代理
代理网站:链接
📰代码演示:
如下图(爬取成功🆗):
🥧Response📖网之Cookie登录(注意:学习爬取类似网站的思路)
难点:验证码,找不到的动态参数(一般可以吃从源代码中找到……)(隐藏域)
cookie解题步骤:找到登录接口 分析接口💡
1、找登录接口:随便输入一个错误的秘密 如👇:
📰代码演示:
如下图(成功🆗):
🛠打码平台简单使用
- 超级鹰:链接
- 完成相应的注册:关注公众号(第一次会送1000(这里强调一点只是学习没有别的哈))
- 使用一次会减掉对应的值
- 下载开发文档
- 把下面两个文件拉到对应的项目目录
- chaojiying.py文件如下
- 用到的ID如下生成
- 效果如👇:
最后
本文章到这里就结束了,觉得不错的请给我专栏点点订阅,你的支持是我们更新的动力,感谢大家的支持,希望这篇文章能帮到大家
下篇文章再见ヾ( ̄▽ ̄)ByeBye
相关文章
- Python标准库 -- UUID模块(生成唯一标识)
- python实现Bencode解码方法
- Python快速学习01:Eclipse上配置PyDev & 'Hello World !'
- Python程序 #!/usr/bin/python 的解释
- Python multiprocessing.Manager()
- 华为OD机试 - 最大股票收益(Java & JS & Python)
- 华为OD机试 - 最多颜色的车辆(Java & JS & Python)
- 华为OD机试 - 组成最大数(Java & JS & Python)
- 华为OD机试 - 用户调度问题(Java & JS & Python)
- 华为OD机试 - 字符串加密(Java & JS & Python)
- Python语言学习:Python语言学习之程序打包发布(exe/msi等)&如何将自己的Python项目(自定义程序代码库)发布到PyPI全流程的简介、案例应用之详细攻略
- Python语言学习:Python语言学习之python包/库package的简介(模块的封装/模块路径搜索/模块导入方法/自定义导入模块实现华氏-摄氏温度转换案例应用)、使用方法、管理工具之详细攻略
- Python之matplotlib:基于matplotlib库利用python语言实现一张画布显示多张图的多种方法
- Python之ffmpeg-python:ffmpeg-python库的简介、安装、使用方法之详细攻略
- 已解决2.Set PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python (but this will use pure-Python parsing and wi
- 已解决(Python爬虫requests报错)requests.exceptions.ProxyError: HTTPSConnectionPool
- Python+大数据开发就业前景?最高薪资31000元!
- 智能优化算法——模拟退火法(Python&Matla实现)
- 【数学建模】多元线性回归(Python&Matlab代码实现)
- 【Python成长之路】python 基础篇 -- global/nonlocal关键字使用
- 10 个最难理解的 Python 概念
- Ubuntu下完美切换Python版,即设置系统默认的python版本(亲测有效)
- Python爬虫selenium模块
- Python编程:chardet模块检测byte字节编码
- Python爬虫:PyExecJS在python中运行javascript代码
- python 将一个JSON 字典转换为一个Python 对象
- python实战===2017年30个惊艳的Python开源项目 (转)
- 【Python】Visual Studio Code 安装&&使用 hello python~~~~
- 华为校招机试 - 求和(Java & JS & Python)
- 【异常】前端ERR! stack Error: Can‘t find Python executable “python“, you can set the PYTHON env variable.
- 【python】Python实现网络爬虫demo实例
- Python图像处理PIL各模块详细介绍
- Python pip库的安装、更新、卸载和检查是否已安装的命令(Windows)