scrapy 2.3 調(diào)試內(nèi)存泄漏

2021-06-16 16:14 更新

在Scrapy中,請(qǐng)求、響應(yīng)和項(xiàng)等對(duì)象的生命周期是有限的:它們被創(chuàng)建、使用一段時(shí)間,最后被銷毀。

從所有這些對(duì)象中,請(qǐng)求可能是生命周期最長的請(qǐng)求,因?yàn)樗恢痹谡{(diào)度程序隊(duì)列中等待,直到需要處理它為止。有關(guān)詳細(xì)信息,請(qǐng)參閱 體系結(jié)構(gòu)概述 .

由于這些零碎的物體有(相當(dāng)長的)壽命,總有在沒有正確釋放它們的情況下將它們累積到內(nèi)存中的風(fēng)險(xiǎn),從而導(dǎo)致所謂的“內(nèi)存泄漏”。

為了幫助調(diào)試內(nèi)存泄漏,scrapy提供了一種內(nèi)置機(jī)制,用于跟蹤調(diào)用的對(duì)象引用 trackref ,您還可以使用第三方庫 muppy 有關(guān)更高級(jí)的內(nèi)存調(diào)試(請(qǐng)參閱下面的詳細(xì)信息)。兩種機(jī)制都必須從 Telnet Console .

以上內(nèi)容是否對(duì)您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號(hào)
微信公眾號(hào)

編程獅公眾號(hào)