Scrapy是以廣度優(yōu)先還是深度優(yōu)先的順序爬行？

默認(rèn)情況下，Scrapy使用 LIFO 用于存儲(chǔ)掛起請(qǐng)求的隊(duì)列，這基本上意味著它會(huì)爬入 DFO order .這種訂單在大多數(shù)情況下更方便。

如果你真的想爬進(jìn)去 BFO order ，您可以通過(guò)設(shè)置以下設(shè)置來(lái)完成此操作：

DEPTH_PRIORITY = 1
SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue'

當(dāng)掛起的請(qǐng)求低于配置的值時(shí) ?CONCURRENT_REQUESTS? ， ?CONCURRENT_REQUESTS_PER_DOMAIN? 或 ?CONCURRENT_REQUESTS_PER_IP? ，這些請(qǐng)求同時(shí)發(fā)送。因此，前幾個(gè)爬行請(qǐng)求很少遵循所需的順序。將這些設(shè)置降低到 1 強(qiáng)制執(zhí)行所需的順序，但它會(huì)顯著降低整體爬行速度。