scrapy 2.3 使用權(quán)利

2021-06-16 11:06 更新

Scrapy的默認(rèn)調(diào)度程序優(yōu)先級(jí)隊(duì)列為 ?'scrapy.pqueues.ScrapyPriorityQueue'? . 它在單域爬行時(shí)工作得最好。它不能很好地并行爬行許多不同的域

要應(yīng)用建議的優(yōu)先級(jí)隊(duì)列,請(qǐng)使用:

SCHEDULER_PRIORITY_QUEUE = 'scrapy.pqueues.DownloaderAwarePriorityQueue'
以上內(nèi)容是否對(duì)您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號(hào)
微信公眾號(hào)

編程獅公眾號(hào)