scrapy 2.3 將項目寫入JSON文件

下面的管道將所有爬取的項目（從所有蜘蛛）存儲到一個單獨(dú)的管道中 ?items.jl? 文件，每行包含一個以JSON格式序列化的項：

import json

from itemadapter import ItemAdapter

class JsonWriterPipeline:

    def open_spider(self, spider):
        self.file = open('items.jl', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(ItemAdapter(item).asdict()) + "\n"
        self.file.write(line)
        return item

注解

jsonWriterPipeline的目的只是介紹如何編寫項管道。如果您真的想將所有的爬取項存儲到JSON文件中，那么應(yīng)該使用 Feed exports .