W3Cschool
恭喜您成為首批注冊用戶
獲得88經驗值獎勵
考慮禁用重定向,除非您有興趣跟蹤它們。在進行廣泛的爬行時,保存重定向并在以后的爬行中重新訪問站點時解決重定向是很常見的。這也有助于保持每個爬網批處理的請求數不變,否則重定向循環(huán)可能會導致爬網程序在任何特定域上投入過多的資源。
要禁用重定向,請使用:
REDIRECT_ENABLED = False
Copyright©2021 w3cschool編程獅|閩ICP備15016281號-3|閩公網安備35020302033924號
違法和不良信息舉報電話:173-0602-2364|舉報郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號
聯(lián)系方式:
更多建議: