把爬虫部署到这个vps云主机上面-操作方法
现在的问题是如何操作把爬虫部署到这个vps云主机上面,
第一步,购买云主机,http://www.5jwl.com/ 无极网络,
我使用这个公司的,
第二步,在云主机配置拨号,这个每个厂商都有教程,
买了之后问问厂商,
第三步,在vps安装python和配置python虚拟环境,
这一步在centos安装python可能会比较麻烦,
第四步,部署爬虫代码,
既然你要让这个vps能改变ip,就要知道用代码来控制断开拨号和开启拨号,这样才可以改变ip,
然后就是要知道怎么通过代码获取ip和端口,这样才可以在代码里使用这个ip代理,
但是如果只是把爬虫部署到vps上,就不需要获取这个ip和端口了,因为你就在机器里面,用的就是这个ip和端口,
只是如果你需要远程调用的话,需要知道这个ip和端口,才可以远程调用,
#####
centos的网络的操作,
ifconfig
这是初始的ip,
这是停止拨号的情况,会发现ppp0不见了,
这是停止拨号之后,重新开始拨号,会发现这个ppp0的ip变换了,
pppoe-start 开始拨号,我发现这一步很慢, 应该是在建立连接,打开要好几秒,这种效率低,
ping www.baidu.com 进行网络验证
开始拨号的网络
停止拨号的网络
pppoe-stop 停止拨号
pppoe-status查看拨号状态和拨号后的信息
开始拨号的状态
停止拨号的状态
#####
上面是centos的操作
如果能使用代码操作这个拨号
如果需要把断网重拨命令写入脚本的话,pppoe-stop && pppoe-start命令之间需要加sleep 1s一秒延迟,否则会拨号不成功。若使用/sbin/ifdown ppp0 && /sbin/ifup ppp0,则不需要加一秒延迟,也能正常拨号成功。
import os import time os.system("ifdown ppp0") status = os.system("pppoe-status") print(status) time.sleep(6) os.system("ifup ppp0") status = os.system("pppoe-status") print(status)
这样就可以实现拨号了,然后你就可以继续下一步了,把这个命令融入你的爬虫脚本
#####
相关文章
- 爬虫福利一 之 27报网MM
- python爬虫滑动验证码_python爬虫爬取京东优惠线报
- data pipeline是做什么_pycharm创建爬虫项目
- R语言爬虫教程与实例操作:如何爬取基金与Pubmed网站信息
- 爬虫实战-豆瓣电影Top250
- Python爬虫之selenium学习
- Python爬虫,最新的B站弹幕和评论爬虫,你们要的冰冰来啦!
- 【K哥爬虫普法】大数据风控第一案:从魔蝎科技案件判决,看爬虫技术刑事边界
- 通过Python爬虫获取【小说网站】数据,保姆级教学
- 前端开发爬虫首选puppeteer
- 记一次简单的电商网站python爬虫练习
- Linux部署python爬虫脚本,并设置定时任务的方法
- scrapy 管理部署的爬虫项目的python类详解程序员
- Java之网络爬虫WebCollector2.1.2+selenium2.44+phantomjs2.1.1详解编程语言
- 利用爬虫解决公众号阅读的一个小障碍