python爬虫相关学习-python爬虫 学习 学习
import requestsimport re #正则表达式模块url = ‘https://api.bilibili.com/x/v1/dm/list.so?oid=460329133’#1 发送请求#请求方式的注意是get或者post#还有参数#headers请求头作用是吧python代码进行伪装模拟成浏览器去发送请求一般只要一个user-agent就行了#ua内涵浏览器基本属性headers={‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36’}#通过requests模块里面的get的请求方法对url进行访问#2 获取数据response=requests.get(url=url,headers=headers)response.encoding=response.apparent_encoding #自动识别代码去除乱码#print(response)#返回结果:<Response [200]> ,200状态表示请求成功#如果想要网页源代码加上.text#print(response.text) 测试对象#3 解析数据,提取想要的数据内容,弹幕数据#正则表达式,直接对于字符串数据进行获取,css,xpath主要根据标签属性、节点进行提取datalist=re.findall(‘<d p=”.*?”>(.*?)</d>’,response.text)#加()是获取对象,不加括号就是单纯的匹配比对,.*?通配符#print(datalist)for index in datalist:with open(‘弹幕.txt’, mode=’a’, encoding=’utf-8′) as f:f.write(index)f.write(‘ ’)print(index) #遍历datalist进行提取每一个元素#4 保存数据,把获取下来的数据内容保存为txt文本
这部分仅仅是部分弹幕的爬取,是b站提供的接口里面爬取的弹幕,实时弹幕还是需要按照时间具体爬取
相关文章
- Python使用tkinter组件Label显示简单数学公式
- 内网渗透之DCOM横向移动
- 以目标为导向的语义交流的共同语言——一个课程学习框架
- python爬虫前奏【成信笔记】
- HTML 5 File API:文件拖放上传功能
- 教你快速创建 Python 虚拟环境
- pyenv 实现Python多版本自由切换
- 用 Python 对 Excel文件进行批量操作
- Python - 接入钉钉机器人
- Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
- crontab - 解决 mac 下通过 crontab 设置了 Python 脚本的定时任务却无法运行
- [源码解析] PyTorch分布式(5) ------ DistributedDataParallel 总述&如何使用
- Python科普系列——类与方法(上篇)
- SAP对STO的交货单执行PGI,报错 -Fld selectn for mvmt type 643 acct 400020 differs
- Spring Boot 实现通用 Auth 认证的 4 种方式
- 盘点4种使用Python批量合并同一文件夹内所有子文件夹下的Excel文件内所有Sheet数据
- OushuDB 学习经验分享(三):技术特点
- Java和Python思维方式的不同之处
- Python中日志记录新技能
- 奥比中光Gemini OpenCV—Python使用