Scrapy定义项目

发布于 2016-10-29 08:02:04 | 222 次阅读 | 评论: 0 | 来源: 网络整理

项目是用于收集从网站刮取下数据的容器。 在启动蜘蛛时必须要定义项目。 要定义项目，在目录 first_scrapy自定义目录下找到编辑items.py文件。items.py 看起来如下所示：

import scrapy

class First_scrapyItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()

MyItem 类包含一个数字，scrapy已为我们建成预先定义的对象继承项目。举例来说，如果想从网站中提取名称，URL和说明， 需要定义字段这三个属性。
因此，让我们再补充一点，来收集这些项目：

from scrapy.item import Item, Field

class First_scrapyItem(scrapy.Item):
    name = scrapy.Field()
    url = scrapy.Field()
    desc = scrapy.Field()