W3Cschool
恭喜您成為首批注冊用戶
獲得88經(jīng)驗值獎勵
重試失敗的HTTP請求會大大降低爬行速度,特別是當站點原因響應速度非常慢(或失敗)時,會導致超時錯誤,該錯誤會被多次不必要地重試,從而阻止爬行器容量被重新用于其他域。
要禁用重試,請使用:
RETRY_ENABLED = False
Copyright©2021 w3cschool編程獅|閩ICP備15016281號-3|閩公網(wǎng)安備35020302033924號
違法和不良信息舉報電話:173-0602-2364|舉報郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號
聯(lián)系方式:
更多建議: