最简单的Python爬虫案例,看得懂说明你已入门,附赠教程
这是最简单的Python爬虫案例,如果你能看懂,那么请你保持信心,因为你已经入门Python爬虫,只要带着信心和努力,你的技术能力在日后必定价值15K月薪。
这次是要爬取网易新闻,包括新闻标题、作者、来源、发布时间、正文等。
第一步,我们先找到网易新闻的网站,并且打开,选择其中的某一个分类,比如:国内新闻,然后点击鼠标的右键查看源代码。
如果你遇到了以下这种情况:
在源代码中并没有页面正中的新闻列表。这说明此网页采用的是异步的方式。也就是通过api接口获取的数据。
在确认之后,用F12打开谷歌浏览器的控制台,点击 Network,我们一直往下拉,发现右侧出现了:”… special/00804KVA/cm_guonei_03.js? … “之类的地址,点开Response发现正是我们要找的api接口。
可以看到这些接口的地址都有一定的规律:“cm_guonei_03.js”、“cm_guonei_04.js”,那么就很明显了:
http://temp.163.com/special/00804KVA/cm_guonei_0(*).js
上面的链接也就是我们本次抓取所要请求的地址。
接下来只需要用到的python的两个库:
requestsjsonBeautifulSoup
requests库就是用来进行网络请求的,说白了就是模拟浏览器来获取资源。由于我们采集的是api接口,它的格式为json,所以要用到json库来解析。BeautifulSoup是用来解析html文档的,可以很方便的帮我们获取指定div的内容。
下面我们正式进入爬虫程序的编写
第一步先导入以上三个包:
接着我们定义一个获取指定页码内数据的方法:
这样子就得到每个页码对应的内容列表:
之后通过分析数据可知下图圈出来的则是需要抓取的标题、发布时间以及新闻内容页面。对于新手小白想更轻松的学好Python基础,Python爬虫,web开发、大数据,数据分析,人工智能等技术,这里给大家分享系统教学资源,扩列下我尉(同英): muli9881 【教程/工具/方法/解疑】
既然现在已经获取到了内容页的url,那么接下来开始抓取新闻正文。
在抓取正文之前要先分析一下正文的html页面,找到正文、作者、来源在html文档中的位置。
我们看到文章来源在文档中的位置为:id = “ne_article_source” 的 a 标签。作者位置为:class = “ep-editor” 的 span 标签。正文位置为:class = “post_text” 的 div 标签。
下面采集这三个内容的代码:
到此为止我们所要抓取的所有数据都已经采集了。
那么接下来当然是把它们保存下来,为了方便我直接采取文本的形式来保存。下面是最终的结果:
格式为json字符串,“标题” : [ ‘日期’, ‘url’, ‘来源’, ‘作者’, ‘正文’ ]。
要注意的是目前实现的方式是完全同步的,线性的方式,存在的问题就是采集会非常慢。主要延迟是在网络IO上,下次可以升级为异步IO,异步采集,有兴趣的可以关注下次的文章。对于新手小白想更轻松的学好Python基础,Python爬虫,web开发、大数据,数据分析,人工智能等技术,这里给大家分享系统教学资源,扩列下我尉(同英): muli9881 【教程/工具/方法/解疑】
通过本次练手,各位应该会对爬虫有一个入门级的了解。
相关文章
- Python使用tkinter组件Label显示简单数学公式
- 内网渗透之DCOM横向移动
- 以目标为导向的语义交流的共同语言——一个课程学习框架
- python爬虫前奏【成信笔记】
- HTML 5 File API:文件拖放上传功能
- 教你快速创建 Python 虚拟环境
- pyenv 实现Python多版本自由切换
- 用 Python 对 Excel文件进行批量操作
- Python - 接入钉钉机器人
- Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
- crontab - 解决 mac 下通过 crontab 设置了 Python 脚本的定时任务却无法运行
- [源码解析] PyTorch分布式(5) ------ DistributedDataParallel 总述&如何使用
- Python科普系列——类与方法(上篇)
- SAP对STO的交货单执行PGI,报错 -Fld selectn for mvmt type 643 acct 400020 differs
- Spring Boot 实现通用 Auth 认证的 4 种方式
- 盘点4种使用Python批量合并同一文件夹内所有子文件夹下的Excel文件内所有Sheet数据
- OushuDB 学习经验分享(三):技术特点
- Java和Python思维方式的不同之处
- Python中日志记录新技能
- 奥比中光Gemini OpenCV—Python使用