scrapy 2.3 復(fù)制請(qǐng)求

有時(shí)，我們需要以Web瀏覽器執(zhí)行請(qǐng)求的方式重新生成請(qǐng)求。

使用 network tool 查看Web瀏覽器如何執(zhí)行所需的請(qǐng)求，并嘗試用scrapy重新生成該請(qǐng)求。

它可能足以產(chǎn)生 Request 使用相同的HTTP方法和URL。但是，您可能還需要復(fù)制body、headers和form參數(shù)（請(qǐng)參見(jiàn) FormRequest ）關(guān)于那個(gè)請(qǐng)求。

因?yàn)樗兄髁鳛g覽器都允許在中導(dǎo)出請(qǐng)求 cURL 格式，Scrapy合并的方法 from_curl() 生成等價(jià)物 Request 從cURL命令。欲了解更多信息，請(qǐng)?jiān)L問(wèn) request from curl 在“網(wǎng)絡(luò)工具”部分中。

一旦得到預(yù)期的響應(yīng)，您就可以 extract the desired data from it .

你可以用Scrapy復(fù)制任何請(qǐng)求。但是，有時(shí)復(fù)制所有必需的請(qǐng)求在開(kāi)發(fā)人員時(shí)間內(nèi)似乎不高效。如果是這樣，爬行速度對(duì)你來(lái)說(shuō)不是主要的問(wèn)題，你也可以考慮 JavaScript pre-rendering .

如果你得到預(yù)期的答復(fù) sometimes 但并非總是這樣，問(wèn)題可能不是您的請(qǐng)求，而是目標(biāo)服務(wù)器。目標(biāo)服務(wù)器可能有問(wèn)題、過(guò)載或 banning 你的一些要求。

注意，要將cURL命令轉(zhuǎn)換為Scrapy請(qǐng)求，可以使用 curl2scrapy .