一篇文章教会你用Python抓取抖音App热点数据
大家好,我是皮皮。
今天给大家分享一篇简单的安卓app数据分析及抓取方法。以抖音为例,我们想要抓取抖音的热点榜数据。
要知道,这个数据是没有网页版的,只能从手机端下手。
首先我们要安装charles抓包APP数据,它是一款收费的抓包修改工具,易上手,数据请求容易控制,修改简单,抓取数据的开始暂停方便等优势,网上也有汉化版,下载地址为http://www.zdfans.com/html/42074.html,一路默认安装就ok了。
安装完成后要设置代理,依次点击代理——代理设置。
然后在手机端设置代理,如下图所示:
在保证手机和电脑在同一局域网的情况下,代理服务器主机名设为电脑的ip地址,端口设为8888。
最后在电脑端和手机端分别安装证书。
电脑端安装方法:依次点击帮助——ssl代理——安装charles root证书 ,按下图进行安装。
手机端安装方式:帮助——ssl代理——在移动设备或远程浏览器上安装charles root证书。
再在模拟器浏览器中输入chls.pro/ssl,会自动下载手机端证书
最后再手机端依次点击设置——安全——从SD卡安装。
为证书命名,点击确认就安装成功了。
打开charles,然后打开抖音app的热点榜界面,在charles很容易就找到了数据接口,一次就返回了50条数据,如下图所示。
它的url信息如下图所示。
此接口只能返回这一时刻的热点数据,要想返回新的数据,就要变换参数信息,但是App端的数据接口参数都比较复杂,这里我们不再深入分析。
为了解决这一问题,我们可以用appium定时模拟操控手机,然后用mitmproxy把数据拦截下来(关于appium、mitmproxy的简介与安装网上有很多教程,这里不再赘述)
Appium脚本如下图所示:
这个自动化测试脚本比较简单,主要是重复获取热点最新信息。
Mitmproxy脚本如图:
有4点需要注意的地方:
1.用mitmproxy抓包前,先把手机代理ip端口设置为8080,设置方法同上;
2.要想在此脚本运行外置函数,必须加上前两行,要不然会出错;
3.脚本中if url in flow.request.url为数据流判断条件,如果url在该数据流的url请求数据中,则判断该数据为抖音app热点数据;
4.最后在脚本所在路径运行以下程序:
最后再运行appium自动化测试脚本,就大功告成了。
本文转载自微信公众号「IT共享者」,可以通过以下二维码关注。转载本文请联系IT共享者公众号。
相关文章
- Python使用tkinter组件Label显示简单数学公式
- 内网渗透之DCOM横向移动
- 以目标为导向的语义交流的共同语言——一个课程学习框架
- python爬虫前奏【成信笔记】
- HTML 5 File API:文件拖放上传功能
- 教你快速创建 Python 虚拟环境
- pyenv 实现Python多版本自由切换
- 用 Python 对 Excel文件进行批量操作
- Python - 接入钉钉机器人
- Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
- crontab - 解决 mac 下通过 crontab 设置了 Python 脚本的定时任务却无法运行
- [源码解析] PyTorch分布式(5) ------ DistributedDataParallel 总述&如何使用
- Python科普系列——类与方法(上篇)
- SAP对STO的交货单执行PGI,报错 -Fld selectn for mvmt type 643 acct 400020 differs
- Spring Boot 实现通用 Auth 认证的 4 种方式
- 盘点4种使用Python批量合并同一文件夹内所有子文件夹下的Excel文件内所有Sheet数据
- OushuDB 学习经验分享(三):技术特点
- Java和Python思维方式的不同之处
- Python中日志记录新技能
- 奥比中光Gemini OpenCV—Python使用