python 爬虫 伪装
2023-09-14 09:12:15 时间
#coding=utf-8 import requests def requests_view(response): import webbrowser requests_url = response.url base_url = '<head><base href="%s">' %(requests_url) base_url = base_url.encode('utf-8') content = response.content.replace(b"<head>",base_url) tem_html = open('tmp.html','wb') tem_html.write(content) tem_html.close() webbrowser.open_new_tab("tmp.html") headers = {"User-Agent":'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} proxies = {'https':"114.215.107.94:60443",'http':"211.147.67.150:80"} requests_view(requests.get("http://www.spbeen.com/tool/request_info/",headers=headers,proxies=proxies))
爬虫 默认使用requests时,发送给服务器的user-agent 是request ,如果想要伪装为浏览器,打开浏览器的网络,复制UA
相关文章
- Python爬虫之设置selenium webdriver等待
- 第三百六十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)基本的索引和文档CRUD操作、增、删、改、查
- 第三百五十节,Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块,可以实现js动态网页请求
- python处理多线程之间事件通讯方法
- Python 图像处理 OpenCV (4):图像算数运算以及修改颜色空间
- 【OpenCV-Python】教程:4-6 FAST (Features from Accelerated Segment Test)算法角点检测
- python格式化输出
- Python: 爬虫入门-python爬虫入门教程(非常详细)
- Python编程语言学习:python的列表的特殊应用之一行命令实现if判断中的两类判断
- Python语言学习:Python语言学习之python包/库package的简介(模块的封装/模块路径搜索/模块导入方法/自定义导入模块实现华氏-摄氏温度转换案例应用)、使用方法、管理工具之详细攻略
- Python:python代码编程带你玩转双色球(了解双色球的概率逻辑)
- Python编程语言学习:for循环中常用方法经验技巧(利用enumerate函数对列表实现自带索引等)之详细攻略
- 零基础学Python-爬虫-5、下载网络视频
- 零基础学Python-爬虫-2、scrapy框架(测试案例篇·技术点在后面文章内讲解)【测试将一篇小说的所有访问路径与标题存储到一个文件下】
- 〖Python 数据库开发实战 - Python与Redis交互篇⑭〗- 综合案例 - 新闻管理系统 - 更新所编辑新闻状态(编辑角色权限)
- Python实现支持向量机SVM分类模型线性SVM决策过程的可视化项目实战
- 深入理解 Python 特性(读书笔记)
- Python爬虫:PyExecJS在python中运行javascript代码
- Python爬虫:Scrapy中间件Middleware和Pipeline
- Python爬虫:使用pyppeteer爬取动态加载的网站
- Python标准库:内置函数any(iterable)
- python lmdb demo 这接口和BDB一样恶心啊!
- 如何开始写python爬虫?给入门python小白一条清晰的学习路线
- 10个Python爬虫入门实例
- Python爬虫实战(二):爬取快代理构建代理IP池
- 本人38岁,想学Python,还能学会吗?
- Python 的七大就业方向,总有一个适合你!
- Python爬虫 xpath解析基础