scrapy 2.3 訪問(wèn)errback函數(shù)中的其他數(shù)據(jù)

在處理請(qǐng)求失敗的情況下，您可能會(huì)對(duì)訪問(wèn)回調(diào)函數(shù)的參數(shù)感興趣，以便可以根據(jù)errback中的參數(shù)進(jìn)一步處理。下面的示例演示如何使用 Failure.request.cb_kwargs ：：

def parse(self, response):
    request = scrapy.Request('http://www.example.com/index.html',
                             callback=self.parse_page2,
                             errback=self.errback_page2,
                             cb_kwargs=dict(main_url=response.url))
    yield request

def parse_page2(self, response, main_url):
    pass

def errback_page2(self, failure):
    yield dict(
        main_url=failure.request.cb_kwargs['main_url'],
    )