zl程序教程

您现在的位置是:首页 >  后端

当前栏目

Scrapy 2.6 Items 数据项定义、加载、传输使用指南

scrapy 加载 定义 传输 使用指南 2.6 items
2023-09-11 14:18:26 时间

爬取的主要目标就是从非结构性的数据源提取结构性数据,使用 Item 容易可以将采集来的数据进行不同的操作。使用的 Items 数据项操作分3种:

  • Items 数据项: 数据爬取过程中从非结构化源(通常是网页)中提取结构化数据,需要实现定义抓取的数据字段信息就要使用到 Item。
  • Item Loaders 数据项加载: 数据采集过程中 Item 为抓取的数据提供的容器,使用 Item Loader 可以非常方便的将数据输入填充到容器中。
  • Item Pipeline 数据项管道: 数据采集过程中用于处理通过 Scrapy 抓取来的数据的传输通道。

Scrapy 版本:2.6+
在这里插入图片描述