Python爬虫编程思想（146）：创建和使用Scrapy工程

        Scrapy框架提供了一个scrapy命令用来建立Scrapy工程，可以使用下面的命令建立一个名为myscrapy是Scrapy工程。

scrapy startproject myscrapy

        执行上面的命令后，会在当前目录下创建一个myscrapy子目录。在myscrapy目录中还有一个myscrapy子目录，在该目录中有一堆子目录和文件，这些目录和文件就对应了图19-1所示的各部分。例如，spiders目录就对应了网络爬虫，其他的目录和文件先不用管。因为使用Scrapy框架编写网络爬虫的主要工作就是编写Spider。所有的Spider脚本文件都要放到spiders目录中。

        下面的例子会在spiders目录中建立一个firstSpider.py脚本文件，这是一个Spider程序，在该程序中会指定要抓取的Web资源的Url。

import scrapy class Test1Spider(scrapy.Spider): # Spider的名称，需要该名称启动Scrapy name = ‘FirstSpider’ # 指定要抓取的Web资源的Url start_urls = [ ‘京