scrapy 2.3 向回調(diào)函數(shù)傳遞附加數(shù)據(jù)

請求的回調(diào)是一個函數(shù)，在下載請求的響應(yīng)時將調(diào)用該函數(shù)。將使用下載的 ?Response? 對象作為其第一個參數(shù)。

例子：：

def parse_page1(self, response):
    return scrapy.Request("http://www.example.com/some_page.html",
                          callback=self.parse_page2)

def parse_page2(self, response):
    # this would log http://www.example.com/some_page.html
    self.logger.info("Visited %s", response.url)

在某些情況下，您可能對向這些回調(diào)函數(shù)傳遞參數(shù)感興趣，以便稍后在第二個回調(diào)中接收這些參數(shù)。下面的示例演示如何通過使用 ?Request.cb_kwargs? 屬性：

def parse(self, response):
    request = scrapy.Request('http://www.example.com/index.html',
                             callback=self.parse_page2,
                             cb_kwargs=dict(main_url=response.url))
    request.cb_kwargs['foo'] = 'bar'  # add more arguments for the callback
    yield request

def parse_page2(self, response, main_url, foo):
    yield dict(
        main_url=main_url,
        other_url=response.url,
        foo=foo,
    )

警告

?Request.cb_kwargs? 在版本中引入 ?1.7? . 在此之前，使用 ?Request.meta? 建議在回調(diào)時傳遞信息。后 ?1.7? ， ?Request.cb_kwargs? 成為處理用戶信息的首選方式，離開 ?Request.meta? 用于與中間件和擴(kuò)展等組件通信。