开源又可拓展的爬虫工具，目测要火！

ProxyPool[1]

链接请看最下方

ProxyPool是一个开源项目，用于管理代理IP。通过使用代理IP， 可以实现网络爬虫对目标网站的匿名访问，避免被封锁。ProxyPool项目包含了一个代理IP池， 可以自动抓取代理IP，并且可以提供给爬虫使用。。通过使用ProxyPool，可以方便地管理代理IP，提高爬虫的稳定性和效率。提供如下功能：

•定时抓取免费代理网站，简易可扩展。

•使用 Redis 对代理进行存储并对代理可用性进行排序。

•定时测试和筛选，剔除不可用代理，留下可用代理。

•提供代理 API，随机取用测试通过的可用代理

•它还包含了一个web界面（目前还在开发中），用于展示代理IP的使用情况和状态为什么需要它

爬虫代理的主要作用是隐藏爬虫的真实身份，以避免被目标网站识别和封锁。爬虫代理通常是一个中间服务器，它会接收爬虫的请求，然后将请求转发到目标网站。这样，目标网站看到的就是代理服务器的身份，而不是爬虫的真实身份。这样，爬虫就可以在不被识别的情况下匿名访问目标网站，提高爬虫的成功率和效率。

这个项目现在已经猛增到4k的star，个人亲测很好用，适合个人项目的开发和使用。

References

[1] ProxyPool: https://docs-svelte-qwer.vercel.app/