scrapy 2.3 請求.meta特殊鍵

2021-06-09 14:24 更新

這個 ?Request.meta? 屬性可以包含任意數(shù)據(jù),但有一些特殊的鍵可以被scrapy及其內(nèi)置擴展識別。

那些是:

  • ?dont_redirect?
  • ?dont_retry?
  • ?handle_httpstatus_list?
  • ?handle_httpstatus_all?
  • ?dont_merge_cookies?
  • ?cookiejar?
  • ?dont_cache?
  • ?redirect_reasons?
  • ?redirect_urls?
  • ?bindaddress?
  • ?dont_obey_robotstxt?
  • ?download_timeout?
  • ?download_maxsize?
  • ?download_latency?
  • ?download_fail_on_dataloss?
  • ?proxy?
  • ?ftp_user? (見 ?FTP_USER? 更多信息)
  • ?ftp_password? (見 ?FTP_PASSWORD? 更多信息)
  • ?referrer_policy?
  • ?max_retry_times ?

綁定地址

用于執(zhí)行請求的傳出IP地址的IP。

download_timeout

下載程序在超時前等待的時間(以秒計)。參見: ?DOWNLOAD_TIMEOUT? .

download_latency

自請求啟動以來,獲取響應所花費的時間,即通過網(wǎng)絡發(fā)送的HTTP消息。只有在下載響應后,此元鍵才可用。雖然大多數(shù)其他的元鍵用于控制零碎的行為,但這個元鍵應該是只讀的。

download_fail_on_dataloss

是否在錯誤的響應上失敗。見: ?DOWNLOAD_FAIL_ON_DATALOSS? .

max_retry_times

使用meta key設置每個請求的重試次數(shù)。初始化時, ?max_retry_times? 元鍵優(yōu)先于 ?RETRY_TIMES? 設置。


以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號