scrapy 2.3 按BFO順序爬行

2021-06-16 11:38 更新

Scrapy crawls in DFO order by default .

然而,在廣泛的爬行中,頁面爬行往往比頁面處理更快。因此,未處理的早期請(qǐng)求將保留在內(nèi)存中,直到達(dá)到最終深度,這可以顯著增加內(nèi)存使用量。

Crawl in BFO order 而是保存內(nèi)存。

以上內(nèi)容是否對(duì)您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號(hào)
微信公眾號(hào)

編程獅公眾號(hào)