scrapy 2.3 預(yù)渲染JavaScript

在從其他請(qǐng)求中獲取數(shù)據(jù)的網(wǎng)頁(yè)上，復(fù)制包含所需數(shù)據(jù)的請(qǐng)求是首選方法。這項(xiàng)工作通常是值得的：結(jié)構(gòu)化的、完整的數(shù)據(jù)，最少的解析時(shí)間和網(wǎng)絡(luò)傳輸。

然而，有時(shí)很難重現(xiàn)某些請(qǐng)求?；蛘吣憧赡苄枰恍]有請(qǐng)求可以提供給你的東西，比如網(wǎng)頁(yè)的屏幕截圖，就像在網(wǎng)頁(yè)瀏覽器中看到的那樣。

在這些情況下，使用 Splash JavaScript呈現(xiàn)服務(wù)，以及 scrapy-splash 實(shí)現(xiàn)無(wú)縫集成。

splash返回為html DOM 一個(gè)網(wǎng)頁(yè)，這樣你就可以用 selectors . 它通過(guò) configuration 或 scripting.

如果您需要Splash提供的以外的東西，例如從python代碼即時(shí)與DOM交互而不是使用以前編寫的腳本，或者處理多個(gè)Web瀏覽器窗口，您可能需要 use a headless browser 相反。