我應該使用蜘蛛?yún)?shù)或設置來配置我的蜘蛛嗎?

2021-06-11 16:48 更新

兩個 spider arguments 和 settings 可以用來配置蜘蛛。沒有嚴格的規(guī)則要求使用其中一個或另一個,但是設置更適合于參數(shù),一旦設置,就不會改變太多,而spider參數(shù)的更改更頻繁,甚至在每次spider運行時,有時甚至需要spider運行(例如,設置spider的起始URL)。

舉個例子來說明,假設您有一個蜘蛛需要登錄到一個站點來獲取數(shù)據(jù),并且您只想從站點的某個部分(每次都不同)獲取數(shù)據(jù)。在這種情況下,登錄的憑證將是設置,而要擦除的部分的URL將是spider參數(shù)。

以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號