Python_ip代理
#encoding=utf8
import urllib
import urllib2
import sys
sys.path.append('D:/python/beautifulsoup')
sys.path.append('C:/Python27/Lib/site-packages')
from bs4 import BeautifulSoup
import MySQLdb
import re
print sys.getdefaultencoding()
User_Agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'
header = {}
header['User-Agent'] = User_Agent
url = 'http://www.xicidaili.com/nn/1'
req = urllib2.Request(url,headers=header)
res = urllib2.urlopen(req).read()
soup = BeautifulSoup(res)
ips = soup.findAll('tr')
#print ips
f = open("proxy.txt","w")
for x in range(1,len(ips)):
ip = ips[x]
tds = ip.findAll("td")
#print tds
ip_temp = tds[1].contents[0]+"\t"+tds[2].contents[0]+"\n"
print ip_temp
#print tds[2].contents[0]+"\t"+tds[3].contents[0]
f.write(ip_temp)
f.close()
相关文章
- 使用 mitmproxy + python 做拦截代理
- python中flask_caching库用法详解(缓存)
- python中eval()和json.loads()格式化字符串效率
- 百度攻城狮训练营2021-工程能力study2 -- 2.4 代码检查规则:Python 语言案例详解 脑图整理
- PHP 、Python 等网站应用惊爆远程代理漏洞:httpoxy
- Python: yield from
- 反反爬--Python爬虫使用代理ip/ip池测试
- 【Python】【爬虫】IP代理/IP限制/IP被封/通过接口调用查询本机IP
- Python利用requests模块实现代理访问网络
- 《树莓派Python编程入门与实战(第2版)》——3.11 练习
- 学习 Python 数学模块之 为什么我们需要使用数学模块
- (数据科学学习手札29)KNN分类的原理详解&Python与R实现
- Python人工智能概述——约束满足(扑克牌问题)
- 18. python爬虫——基于scrapy框架设置下载器中间件中的UA伪装和代理IP
- 【Python爬虫】:使用高性能爬虫快速检验证代理IP是否有效
- 多边形标注收缩python代码实现