Python爬虫自学系列（番外篇一）：代理IP池

前言

你在爬虫的时候，是否会经常的担心IP被封掉呢？
或者说，在使用免费IP的时候，并不知道那个IP是不是已经被封了。

对于大批量的爬取数据的时候，我在第五篇做并发爬虫的时候就发现了，第一篇提供的那个免费代理很多都已经被封掉了。
那怎么办呢？

这时候不得有一个自己的代理池嘛。

除了去买，相信大多数小伙伴还是愿意用自己的吧，毕竟又不是天天爬，爬个几次，又不能当饭吃，花这钱干什么？

揭开神秘面纱

其实这个代理池的建立啊，也不是什么稀奇玩意儿了。从User-Agent模块中不断抽取随机IP，然后拿去访问网址，如果可以用的话，就留下来，如果不能用的话，就算了。

通俗地比喻一下，它就是一个池子，里面装了很多代理ip。它有如下的行为特征：

1.池子里的ip是有生命周期的，它们将被定期验证，其中失效的将被从池子里面剔除。