pyquery库和parsel库的使用
2023-03-14 22:41:13 时间
0x01 安装pyquery库
该库可以直接通过css选择器进行字符串查找
pip install pyquery
0x02 初始化操作
通过PyQuery初始化字符串
from pyquery import PyQuery import requests url = "https://www.dandanzan10.top/dianying/index.html" heads = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36', } r = requests.get(url, headers=heads) str = r.text res=PyQuery(str) print(res)
0x03 获取电影名字
1、res('h2'):获取h2标签所有内容
2、text()将字符串内容打印出来
from pyquery import PyQuery import requests url = "https://www.dandanzan10.top/dianying/index.html" heads = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36', } r = requests.get(url, headers=heads) str = r.text res=PyQuery(str) print(res('h2').text())
运行结果: 爱涌情现浪潮时 爱的锦囊妙计 铁血女王阿米娜:征战天下 我的老板是连环杀手 国际搜查 死亡血路 反恐追缉令 浅草小子 去海边 Reframe THEATER EXPERIENCE with you 凶宅怪谈 青涩的伤痛与脆弱 狂武藏 战地:异种浩劫 恋途未卜 窒恋 路的尽头 迷情杀机:卷土重来 BTS舞台舞蹈许可:首尔实时观看 父情难却 猎杀艾娃 最好的女友 匹诺曹 有一点动心
0x04 安装parsel库
该库是Scrapy框架的底层代码,Scrapy框架是一个爬虫框架,以后我们会详细解说。
pip install parsel
0x05 获取电影名字
1、通Selector初始化一下字符串
2、通过css获取h2标签的所有内容
3、通过xpath获取标签的字符串内容
from parsel import Selector import requests url = "https://www.dandanzan10.top/dianying/index.html" heads = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36', } r = requests.get(url, headers=heads) str = r.text sl=Selector(text=str) res=sl.css('h2') for i in res: text=i.xpath('.//text()').get() print(text)
0x06 声明
仅供安全研究与学习之用,若将工具做其他用途,由使用者承担全部法律及连带责任,作者不承担任何法律及连带责任。
相关文章
- fckeditor for java_FCKeditor For Java/Jsp 程序代码
- python executemany update_python – mycursor.executemany UPDATE无法按预期工作
- python3_python编程常用编译器快捷键_Pycharm or Spyder
- PHP图片处理库Grafika详细教程(2):图像特效处理模块
- PHP图片处理库Grafika详细教程(1):图像基本处理
- 最全面的2015年全球程序员研究报告
- 如何在React中操作DOM元素?
- 一份前端开发人员的架构样式指南,请查收!
- 高性能Nginx HTTPS调优!为HTTPS提速30%
- GitHub发布年度报告:TypeScript成第四大语言
- 零售大数据分析应用的四个阶段
- 大幕已拉开,2018年人工智能的八个发展趋势看这里
- 如何在树莓派 4 上安装 Ubuntu 桌面系统
- 大数据治理需要具备哪些能力和关键技术?
- 如何轻松安装 Debian Linux 系统
- 2017年中国商业智能行业研究报告
- 从分布式管理到多租户实现,企业级大数据系统如何利用开源生态构建?
- 多彩贵州、爽爽贵阳——“数字经济引领新增长”开启2017年数博会大幕
- 一篇文章解决你所有关于数据分析的问题!
- 发展基础软件生态,建设自主创新根技术