免費(fèi)AI編程助手
簡介
2019-03-22 11:55 更新
簡介
colly是快如閃電而優(yōu)雅的爬蟲框架，提供簡潔的API能夠幫助你構(gòu)建爬蟲應(yīng)用。使用Colly，你可以輕松地從網(wǎng)站中提取結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)可用于廣泛的應(yīng)用程序，如數(shù)據(jù)挖掘，數(shù)據(jù)處理或歸檔。
特性
- 簡單的API- 快速（單核上> 1k請求/秒）- 控制請求延遲和每個(gè)域名的最大并發(fā)數(shù)- 自動(dòng)cookie和session處理- 同步/異步/并行抓取- 高速緩存- 對非unicode響應(yīng)自動(dòng)編碼- Robots.txt支持- 分布式抓取- 支持通過環(huán)境變量配置- 隨意擴(kuò)展
以上內(nèi)容是否對您有幫助：
更多建議：