我應(yīng)該使用蜘蛛?yún)?shù)或設(shè)置來(lái)配置我的蜘蛛嗎？

兩個(gè) spider arguments 和 settings 可以用來(lái)配置蜘蛛。沒(méi)有嚴(yán)格的規(guī)則要求使用其中一個(gè)或另一個(gè)，但是設(shè)置更適合于參數(shù)，一旦設(shè)置，就不會(huì)改變太多，而spider參數(shù)的更改更頻繁，甚至在每次spider運(yùn)行時(shí)，有時(shí)甚至需要spider運(yùn)行（例如，設(shè)置spider的起始URL）。

舉個(gè)例子來(lái)說(shuō)明，假設(shè)您有一個(gè)蜘蛛需要登錄到一個(gè)站點(diǎn)來(lái)獲取數(shù)據(jù)，并且您只想從站點(diǎn)的某個(gè)部分（每次都不同）獲取數(shù)據(jù)。在這種情況下，登錄的憑證將是設(shè)置，而要擦除的部分的URL將是spider參數(shù)。