scrapy小实例
1.在安装好scrapy后,使用scrapy startproject +项目名来创建一个scrapy项目,如下图即创建成功:
2. 使用tree命令可以查看项目的目录结构:
3.进入spilder目录下,使用:scrapy genspider +文件名+网址 命令来创建一个爬虫文件:
4.可以使用命令:
scrapy list :来查看列出当前项目中的所有可用爬虫
scrapy check:运行 contract 检查
scrapy crawl +爬虫名(不是文件名):使用爬虫开始爬行
5.运行后并没有什么变化,我们改一下刚生成的Duba.py文件。
# -*- coding: utf-8 -*- import scrapy class DubaSpider(scrapy.Spider): name = 'Duba' allowed_domains = ['www.douban.com'] start_urls = ['https://www.douban.com/'] def parse(self, response): print(response.body) #pass
发现豆瓣并爬不到东西,这个可能是豆瓣做了一定的防爬虫处理,因为我们还没有设置一些头信息,所以很容易被识别的。
我又换了一下淘宝的:
# -*- coding: utf-8 -*- import scrapy class DubaSpider(scrapy.Spider): name = 'Duba' allowed_domains = ['www.taobao.com'] start_urls = ['https://www.taobao.com/'] def parse(self, response): print(response.body) #pass
果然,淘宝的页面数据是可以正常输出的。接下来对数据就交给item管道(Item pipeline)去处理。
注意:有可能会出现DNS lookup failed:No results for hostname lookup:http,这样的问题。可以修改setting.py文件,将ROBOTSTXT_OBEY = True 改为False就可以了。
接下来我们在settings.py文件中添加USER_AGENT 信息,再爬一下,OK,可以正常爬到网页啦
相关文章
- 个人笔记(vue篇)
- 怎么去水印不伤原图?这个去水印方法值得收藏!
- 羊了个羊,通关秘籍!
- 实用 | 盘点抓包修改响应结果的 2 种方式!
- 小技巧 | Chrome 插件如何完成剪切板的操作!
- DDOS攻击讲堂
- 思科交换机简单配置
- 实战 | 如何利用 Scrapy 编写一个完整的爬虫!
- 超简单就可做一款三功能的LED车灯
- 实战 | 教你快速爬取热门股票,辅助量化交易!
- 行业趋势|光伏行业SCM供应链数字化管理优势、价值
- 破除上下游梗阻,如何为能源化工行业开出“新良方”?
- 软件分享 | 第一期 Markdown神器Typora安装和破解教程
- jira-dev-tool插件安装失败的解决方法
- 软件分享 | 第二期 截图神器snipaste安装和使用教程
- 基于Hexo搭建静态博客
- 软件分享 | 第三期 搜索神器listary安装和使用
- 发送HTML模板邮件
- 使用3-hexo主题时无法正常渲染html代码
- 在Mac下使用zsh