zl程序教程

您现在的位置是:首页 >  后端

当前栏目

解决在python 爬虫时爬取的网页中文乱码问题!

Python中文网页爬虫 解决 乱码 问题
2023-09-27 14:20:16 时间

我们平常在爬虫过程中经常会遇到爬取的网页内容乱码的问题,我们知道肯定是编码的问题。一般情况下,网页编码都是UTF-8形式,但是有时候有一些例外,有可能会是GBK的编码方式。
解决中文乱码问题:
一. 查看网页编码
按F12,进入开发者模式,在最上面找到Console,输入document.charset,如图:
在这里插入图片描述
二. 在代码中设置编码方式为步骤一中的方式,例如:

res = requests.get(url)
res.encoding = 'gbk'
html = res.text