python 网络爬虫-python网络爬虫从入门到实践 pdf
# -*- coding: cp936 -*- import string,urllib2 path = “G:/New Knowledge/practice/python/tmp/” def baidu_tieba(url,begin_page,end_page): for i in range(begin_page,end_page+1): Name = path+string.zfill(i,5)+’.html’#自动填充 print ‘下载’+str(i)+’个网页,并存为’+Name f = open(Name,’w+’) data = urllib2.urlopen(url+str(i)).read() f.write(data) f.close()
bdurl = raw_input(u’input url 去除最后的数字 ’) begin_page = raw_input(“begin page”) end_page = raw_input(“endpage”) if not bdurl: bdurl = ‘http://tieba.baidu.com/p/2296017831?pn=’ if not begin_page: begin_page = 1 if not end_page: end_page = 10 baidu_tieba(bdurl,int(begin_page),int(end_page));
input url 去除最后的数字
http://tieba.baidu.com/p/301797825
begin page0
endpage9
下载1个网页,并存为00001.html
下载2个网页,并存为00002.html
下载3个网页,并存为00003.html
下载4个网页,并存为00004.html
下载5个网页,并存为00005.html
下载6个网页,并存为00006.html
下载7个网页,并存为00007.html
下载8个网页,并存为00008.html
下载9个网页,并存为00009.html
>>> ================================ RESTART ================================
>>>
input url 去除最后的数字
begin page
endpage
下载1个网页,并存为G:/New Knowledge/practice/python/tmp/00001.html
下载2个网页,并存为G:/New Knowledge/practice/python/tmp/00002.html
下载3个网页,并存为G:/New Knowledge/practice/python/tmp/00003.html
下载4个网页,并存为G:/New Knowledge/practice/python/tmp/00004.html
下载5个网页,并存为G:/New Knowledge/practice/python/tmp/00005.html
下载6个网页,并存为G:/New Knowledge/practice/python/tmp/00006.html
下载7个网页,并存为G:/New Knowledge/practice/python/tmp/00007.html
下载8个网页,并存为G:/New Knowledge/practice/python/tmp/00008.html
下载9个网页,并存为G:/New Knowledge/practice/python/tmp/00009.html
下载10个网页,并存为G:/New Knowledge/practice/python/tmp/00010.html
The article write by nealgavin
相关文章
- SpringBoot集成ffmpeg实现视频转码播放
- Spring Boot2配置Swagger2生成API接口文档
- Java---Stream进阶
- 【金九银十必问面试题】站在架构师角度分析问题,如何解决TCC中的悬挂问题
- Spring(三)-AOP
- Mybatis 懒加载使用及源码分析
- Mybatis 插件使用及源码分析
- api进阶Day2(低级流)文件流的输出流、读取流。向文件中写入文本数据、读取文件中的字符串、用lambda表达式创建文件过滤器。
- api进阶Day1文件的创建、删除、访问、设置过滤器并查询。目录的删除、创建。
- 面试官:MyBatis 插件有什么用途?说说底层原理?我竟然不会。。
- api接口基础Day1
- 后端编写Swagger接口管理文档
- day03_2_流程控制
- .NET Github Actions 入门
- Spring Boot Event 观察者模式,轻松带你实现业务解耦!
- 常用类-jdk8之前的日期和API
- PoweJob高级特性-MapReduce完整示例
- 高级程序员必知必会,一文详解MySQL主从同步原理,推荐收藏
- 一网打尽异步神器CompletableFuture
- Flink-使用流批一体API统计单词数量