簡介

2019-03-22 11:55 更新

簡介

  1. colly是快如閃電而優(yōu)雅的爬蟲框架,提供簡潔的API能夠幫助你構(gòu)建爬蟲應(yīng)用。使用Colly,你可以輕松地從網(wǎng)站中提取結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)可用于廣泛的應(yīng)用程序,如數(shù)據(jù)挖掘,數(shù)據(jù)處理或歸檔。

特性

  1. - 簡單的API
  2. - 快速(單核上> 1k請求/秒)
  3. - 控制請求延遲和每個(gè)域名的最大并發(fā)數(shù)
  4. - 自動(dòng)cookiesession處理
  5. - 同步/異步/并行抓取
  6. - 高速緩存
  7. - 對非unicode響應(yīng)自動(dòng)編碼
  8. - Robots.txt支持
  9. - 分布式抓取
  10. - 支持通過環(huán)境變量配置
  11. - 隨意擴(kuò)展
以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號(hào)
微信公眾號(hào)

編程獅公眾號(hào)