簡介

簡介

colly是快如閃電而優(yōu)雅的爬蟲框架，提供簡潔的API能夠幫助你構(gòu)建爬蟲應(yīng)用。使用Colly，你可以輕松地從網(wǎng)站中提取結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)可用于廣泛的應(yīng)用程序，如數(shù)據(jù)挖掘，數(shù)據(jù)處理或歸檔。

特性

- 簡單的API
- 快速（單核上> 1k請求/秒）
- 控制請求延遲和每個(gè)域名的最大并發(fā)數(shù)
- 自動(dòng)cookie和session處理
- 同步/異步/并行抓取
- 高速緩存
- 對非unicode響應(yīng)自動(dòng)編碼
- Robots.txt支持
- 分布式抓取
- 支持通過環(huán)境變量配置
- 隨意擴(kuò)展