【说站】python中如何使用XPath爬取小说
Python 使用 如何 爬取 小说 xpath
2023-06-13 09:13:15 时间
python中如何使用XPath爬取小说
说明
xpath是一种在XML文档中搜索信息的语言。
过程
1、获得浏览器中的标题和作者测试。
2、在浏览器安装xpath插件:
3、在html中找到book-mid-info:
4、找到我们想得到小说的名字、作者
即//div[@class='book-mid-info']/h4/a/txt()
实例
# 作者:
# 开发时间:2021/4/8/0008 8:24
import requests
from lxml import etree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#发送请求
resp=requests.get(url,headers)
e=etree.HTML(resp.text) #类型转换,把str转变为class 'lxml.etree._ELement
print(type(e))
names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#名称和作者对应
for name,authors in zip(names,authors):
print(name,":",authors)
以上就是python中使用XPath爬取小说的方法,希望对大家有所帮助。
相关文章
- 快速了解 OJ 判题系统如何在python中使用?
- python win32api messagebox_如何在Python中使用Win32 API?
- python大数据分析实例-用Python整合的大数据分析实例
- python使用matplotlib绘图 — barChart
- python如何使用继承
- 【Python】python文件打开方式详解——a、a+、r+、w+、rb、rt区别[通俗易懂]
- python执行测试用例_java随机函数random使用方法
- 某大厂面试题:如何只用python的内置函数处理10G的大文件并使使用内存最小
- python aiohttp_python aiohttp的使用详解
- 【说站】Python中concurrent.futures模块如何使用
- 【说站】python析构函数如何使用
- 【说站】python zip_longest如何使用
- 【说站】python中Sobel算子如何使用
- 【说站】python中popitem如何使用
- 【说站】python在带参的函数中使用装饰器
- 【说站】python析构函数的使用注意
- 【说站】Python列表推导式如何使用
- 【说站】Python argparse库的基本使用步骤
- python中copy.deepcopy_Python eval
- 盘点一个Python列表(元素多样)处理的实战题目(使用正则表达式也可以实现)
- 干货 | 5分钟教你科学使用Python虚拟环境
- 如何在Rstudio中使用Python?
- Python与协程
- python-Python与MongoDB数据库-使用Python执行MongoDB查询(一)
- Python-面向对象编程(二)详解编程语言
- Linux下如何快速卸载Python环境(linux如何卸载python)
- 如何使用 Flask 编写 Python Web API
- 使用 C 优化你的 Python 代码
- 如何在Linux中安装Python?(linux安装python)
- Linux下Python编程:从入门到精通(linux下python编程)
- Python操作MySQL数据库的必备模块mysqlpython(mysql_python)