《精通Python网络爬虫：核心技术、框架与项目实战》——第2章 网络爬虫技能总览 2.1 网络爬虫技能总览图

本节书摘来自华章出版社《精通Python网络爬虫：核心技术、框架与项目实战》一书中的第2章，第2.1节，作者 韦 玮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

网络爬虫技能总览

在上一章中，我们已经初步认识了网络爬虫，那么网络爬虫具体能做些什么呢？用网络爬虫又能做哪些有趣的事呢？在本章中我们将为大家具体讲解。

2.1 网络爬虫技能总览图

如图2-1所示，我们总结了网络爬虫的常用功能。

在图2-1中可以看到，网络爬虫可以代替手工做很多事情，比如可以用于做搜索引擎，也可以爬取网站上面的图片，比如有些朋友将某些网站上的图片全部爬取下来，集中进行浏览，同时，网络爬虫也可以用于金融投资领域，比如可以自动爬取一些金融信息，并进行投资分析等。

有时，我们比较喜欢的新闻网站可能有几个，每次都要分别打开这些新闻网站进行浏览，比较麻烦。此时可以利用网络爬虫，将这多个新闻网站中的新闻信息爬取下来，集中进行阅读。

有时，我们在浏览网页上的信息的时候，会发现有很多广告。此时同样可以利用爬虫将对应网页上的信息爬取过来，这样就可以自动的过滤掉这些广告，方便对信息的阅读与使用。

有时，我们需要进行营销，那么如何找到目标客户以及目标客户的联系方式是一个关键问题。我们可以手动地在互联网中寻找，但是这样的效率会很低。此时，我们利用爬虫，可以设置对应的规则，自动地从互联网中采集目标用户的联系方式等数据，供我们进行营销使用。

有时，我们想对某个网站的用户信息进行分析，比如分析该网站的用户活跃度、发言数、热门文章等信息，如果我们不是网站管理员，手工统计将是一个非常庞大的工程。此时，可以利用爬虫轻松将这些数据采集到，以便进行进一步分析，而这一切爬取的操作，都是自动进行的，我们只需要编写好对应的爬虫，并设计好对应的规则即可。

除此之外，爬虫还可以实现很多强大的功能。总之，爬虫的出现，可以在一定程度上代替手工访问网页，从而，原先我们需要人工去访问互联网信息的操作，现在都可以用爬虫自动化实现，这样可以更高效率地利用好互联网中的有效信息。

Python黑科技系列06 - 项目实战-刮刮卡小游戏 最快的成功方法就是， 保持对一件事情专注， 不停地重复， 不停地深钻， 只要看透时间的复利效应， 每一个人都可以是一个小领域的佼佼者， 怕的就是你在各个领域之间徘徊游荡。” 想成功，就要舍去某些东西，
Python 小项目实战了解一下？ 最近无论是北方还是南方都迎来了强冷空气的袭击，北风呼呼吹，我所在的城市这两天则可随处溜冰，城市道路结冰橙色预警，全省交通到处管制、小学幼儿园停课休息；上班路上的行人则是小心翼翼怕摔跤；老家韭菜坪的风景更美，给大家来带张照片感受感受：
Python 测试开发 20+ 项目实战，提升 5 大测试核心技能 软件测试行业从业门槛越来越高，传统手工测试人员逐渐被淘汰，而 测试开发工程师 则供不应求，成为 BAT 互联网大厂高薪求聘的稀缺人才，年薪 30W+ 起，年薪 50W-100W+ 也很常见，甚至超越同级别研发人员。 为帮助测试同学实现技术升级，同时也解决测试招人难的痛点问题，霍格沃兹测试学院邀请 30+ BAT 一线资深测试架构师、测试经理、测试技术负责人结合当下互联网测试开发技术栈最新要求，
Python 小项目实战了解一下？ 最近无论是北方还是南方都迎来了强冷空气的袭击，北风呼呼吹，我所在的城市这两天则可随处溜冰，城市道路结冰橙色预警，全省交通到处管制、小学幼儿园停课休息；上班路上的行人则是小心翼翼怕摔跤；老家韭菜坪的风景更美，给大家来带张照片感受感受：