scrapy 2.3 編寫自己的項目管道

每個item pipeline組件都是一個python類，必須實現(xiàn)以下方法：

process_item(self, item, spider)

對每個項管道組件調(diào)用此方法。

item 是一個 item object 見 支持所有項目類型 .

?process_item()? 必須：返回 item object 返回A ?Deferred? 或提高 ?DropItem? 例外。

丟棄的項目不再由其他管道組件處理。

參數(shù)

• item (item object) -- 管道的東西

• spider (?Spider? object) -- 爬取項目的蜘蛛

此外，它們還可以實現(xiàn)以下方法：

open_spider(self, spider)

當(dāng)spider打開時調(diào)用此方法。

參數(shù)

spider (?Spider? object) -- 打開的蜘蛛

close_spider(self, spider)

當(dāng)spider關(guān)閉時調(diào)用此方法。

參數(shù)

spider (?Spider? object) -- 關(guān)閉的蜘蛛

from_crawler(cls, crawler)

如果存在，則調(diào)用此ClassMethod從 ?Crawler? . 它必須返回管道的新實例。爬蟲對象提供對所有零碎核心組件（如設(shè)置和信號）的訪問；它是管道訪問它們并將其功能連接到零碎的一種方式。

參數(shù)

crawler (?Crawler? object) -- 使用此管道的爬蟲程序