scrapy 2.3 減少下載超時

2021-06-16 11:34 更新

除非您是從一個非常慢的連接爬行（這不應(yīng)該是廣泛爬行的情況），否則請減少下載超時，以便快速丟棄卡住的請求并釋放處理下一個請求的容量。

要減少下載超時，請使用：

DOWNLOAD_TIMEOUT = 15

以上內(nèi)容是否對您有幫助：

寫筆記

我要補充

推薦文章