简单Python爬虫编写——requests包使用初体验

今天继续给大家介绍Python相关知识，本文主要内容是简单Python爬虫编写——requests包使用初体验。

一、爬虫代码程序

接下来，我们就通过一个简单的程序，来实现简单的python爬虫编写——使用Python爬虫爬取百度主页。代码如下所示：

import requests

url="https://www.baidu.com/"
header={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
reponse=requests.get(url=url,headers=header)
page_text=reponse.text
with open(r"C:\Users\Administrator\Desktop\baidu.html",'w',encoding="utf-8") as fp:
    fp.write(page_text)
print("Mission completed!")

二、爬虫代码解析

在上述代码中，我们引用了requests库，requests库的安装需要在cmd下执行命令：

pip install requests

我由于已经安装过了，因此上述命令执行结果如下所示：

在上述代码中，我们定义了url变量，该变量指定了目标URL，同时还使用了headers变量指定了一个字典。这个字典的键是User-Agent，值是一个谷歌浏览器的User-Agent头。接下来，调用了requests.get()方法，并指定了url和headers参数，这两个参数分别表示requests发起请求的目标url以及添加的User-Agent头。该方法会返回一个响应对象，引用该对象的text属性可以返回响应数据包的数据。最后，程序把数据写到了一个html文件文件中。

三、爬虫代码执行结果

上述代码执行后，我们可以打开该HTML文件，发现执行结果如下所示：

从上图可以看出，我们成功爬取到了百度的页面！（注意：由于一些文件我们没有下载，因此和百度主页面不完全相同）
原创不易，转载请说明出处：https://blog.csdn.net/weixin_40228200