網(wǎng)絡(luò)爬蟲，可以理解成在互聯(lián)網(wǎng)上面爬行的一只蜘蛛，而互聯(lián)網(wǎng)就像一張大網(wǎng)一樣，爬蟲可以在這張大網(wǎng)上面爬來爬去，如果有遇到自己喜歡的獵物（資源）就會(huì)把它抓取下來。一些不常用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲，那么，python為什么叫爬蟲?它可以用來做什么呢?
為什么把python叫做爬蟲？
作為一門編程語言而言，Python是純粹的自由軟件，以簡潔清晰的語法和強(qiáng)制使用空白符進(jìn)行語句縮進(jìn)的特點(diǎn)從而深受程序員的喜愛。舉一個(gè)例子：完成一個(gè)任務(wù)的話，c語言一共要寫1000行代碼，java要寫100行，而python則只需要寫20行的代碼。使用python來完成編程任務(wù)的話編寫的代碼量更少，代碼簡潔簡短可讀性更強(qiáng)，一個(gè)團(tuán)隊(duì)進(jìn)行開發(fā)的時(shí)候讀別人的代碼會(huì)更快，開發(fā)效率會(huì)更高，使工作變得更加高效。
這是一門非常適合開發(fā)網(wǎng)絡(luò)爬蟲的編程語言，而且相比于其他靜態(tài)編程語言，Python抓取網(wǎng)頁文檔的接口更簡潔;相比于其他動(dòng)態(tài)腳本語言，Python的urllib2包提供了較為完整的訪問網(wǎng)頁文檔的API。此外，python中有優(yōu)秀的第三方包可以高效實(shí)現(xiàn)網(wǎng)頁抓取，并可用極短的代碼完成網(wǎng)頁的標(biāo)簽過濾功能。
python爬蟲的構(gòu)架組成如下圖：
1. URL管理器：管理待爬取的url集合和已爬取的url集合，傳送待爬取的url給網(wǎng)頁下載器;
2. 網(wǎng)頁下載器：爬取url對(duì)應(yīng)的網(wǎng)頁，存儲(chǔ)成字符串，傳送給網(wǎng)頁解析器;
3. 網(wǎng)頁解析器：解析出有價(jià)值的數(shù)據(jù)，存儲(chǔ)下來，同時(shí)補(bǔ)充url到URL管理器。
python可以用來做什么？
1、人工智能
現(xiàn)在的人工智能非常的火爆,各種培訓(xùn)班都在瘋狂打廣告招生.機(jī)器學(xué)習(xí)，尤其是現(xiàn)在火爆的深度學(xué)習(xí)，其工具框架大都提供了Python接口。
Python在科學(xué)計(jì)算領(lǐng)域一直有著較好的聲譽(yù)，其簡潔清晰的語法以及豐富的計(jì)算工具，深受此領(lǐng)域開發(fā)者喜愛。說白了就是因?yàn)镻ython簡單易學(xué)框架豐富。
2、數(shù)據(jù)分析
一般我們用爬蟲爬到了大量的數(shù)據(jù)之后，我們需要處理數(shù)據(jù)用來分析，不然爬蟲白爬了，我們最終的目的就是分析數(shù)據(jù)，在這方面 關(guān)于數(shù)據(jù)分析的庫也是非常的豐富的，各種圖形分析圖等 都可以做出來。
也是非常的方便，其中諸如Seaborn這樣的可視化庫，能夠僅僅使用一兩行就對(duì)數(shù)據(jù)進(jìn)行繪圖，而利用Pandas和numpy、scipy則可以簡單地對(duì)大量數(shù)據(jù)進(jìn)行篩選、回歸等計(jì)算。而后續(xù)復(fù)雜計(jì)算中，對(duì)接機(jī)器學(xué)習(xí)相關(guān)算法，或者提供Web訪問接口，或是實(shí)現(xiàn)遠(yuǎn)程調(diào)用接口，都非常簡單。
3、web應(yīng)用開發(fā)
在國內(nèi)，豆瓣一開始就使用Python作為web開發(fā)基礎(chǔ)語言，知乎的整個(gè)架構(gòu)也是基于Python語言，這使得web開發(fā)這塊在國內(nèi)發(fā)展的很不錯(cuò)。
以上便是對(duì)python為什么叫爬蟲,它可以用來做什么的簡單介紹，如果你一名小白，想學(xué)習(xí)python入門基礎(chǔ)，推薦你閱讀以下幾篇文章
python入門基礎(chǔ)學(xué)習(xí) 超適合小白學(xué)習(xí)的教程
Python和C語言先學(xué)哪個(gè)好?哪個(gè)更有前景?
2020年10月編程語言排行榜：Python 即將超越 Java
