免費AI編程助手
抓取診斷
2020-08-25 11:28 更新
什么是抓取診斷
抓取診斷工具能做什么
抓取診斷工具，可以讓站長從百度蜘蛛的視角查看抓取內(nèi)容，自助診斷百度蜘蛛看到的內(nèi)容，和預期是否一致。每個站點每周可使用200次，抓取結(jié)果只展現(xiàn)百度蜘蛛可見的前200KB內(nèi)容。
目前抓取診斷工具有如下作用：
1、診斷抓取內(nèi)容是否符合預期，譬如很多商品詳情頁面，價格信息是通過JavaScript輸出的，對百度蜘蛛不友好，價格信息較難在搜索中應用。問題修正后，可用診斷工具再次抓取檢驗。
2、診斷網(wǎng)頁是否被加了黒鏈、隱藏文本。網(wǎng)站如果被黑，可能被加上隱藏的鏈接，這些鏈可能只在百度抓取時才出現(xiàn)，需要用此抓取工具診斷。
3、檢查網(wǎng)站與百度的連接是否暢通，若是IP信息不一致，可以報錯通知百度更新IP。
1、診斷抓取內(nèi)容是否符合預期，譬如很多商品詳情頁面，價格信息是通過JavaScript輸出的，對百度蜘蛛不友好，價格信息較難在搜索中應用。問題修正后，可用診斷工具再次抓取檢驗。
2、診斷網(wǎng)頁是否被加了黒鏈、隱藏文本。網(wǎng)站如果被黑，可能被加上隱藏的鏈接，這些鏈可能只在百度抓取時才出現(xiàn)，需要用此抓取工具診斷。
3、檢查網(wǎng)站與百度的連接是否暢通，若是IP信息不一致，可以報錯通知百度更新IP。
抓取診斷工具常見錯誤類型解析
【url規(guī)范】
百度支持抓取的url長度不超過1024，如果您的鏈接長度過長，請在保證正常訪問的情況下，適當精簡，保證鏈接能被百度正常抓取和收錄。
【重定向錯誤】
重定向是指百度spider訪問鏈接時發(fā)生了跳轉(zhuǎn)，如果跳轉(zhuǎn)后的鏈接超長或者連續(xù)跳轉(zhuǎn)的次數(shù)超過5次，就會發(fā)生重定向錯誤而導致抓取失敗。
【服務器連接錯誤】
這種情況是指，由于服務器響應過慢或您的網(wǎng)站屏蔽了百度spider，而導致百度無法訪問您的網(wǎng)站。從而會導致百度無法正常收錄或者更新您網(wǎng)站的內(nèi)容。您可能看到以下具體錯誤：連接超時、連接失敗、連接被拒、無響應、響應遭到截斷、連接重置、標頭遭到截斷、超時。
*如何處理服務器連接錯誤？
減少動態(tài)網(wǎng)頁請求的過多網(wǎng)頁加載。如果網(wǎng)站為多個網(wǎng)址提供相同內(nèi)容，則會被視為動態(tài)提供內(nèi)容（例如，www.example.com/shoes.php?color=red&size=7與www.example.com/shoes.php?size=7&color=red提供的內(nèi)容相同）。動態(tài)網(wǎng)頁的響應時間可能會很長，并會因此導致超時問題。或者，服務器可能會返回超載狀態(tài)，要求百度spider放慢抓取該網(wǎng)站的速度。一般來說，建議您盡量使用簡短的參數(shù)并謹慎使用。
確保您網(wǎng)站的托管服務器沒有停止運行、超載或配置不當。如果連接問題、超時問題或響應問題仍然存在，請與您的網(wǎng)站托管服務提供商聯(lián)系，并考慮增強您的網(wǎng)站處理流量的能力。
檢查網(wǎng)站是否不小心屏蔽了百度spider的IP。您可能會由于系統(tǒng)級問題而阻止了百度訪問，例如DNS配置問題、配置不當?shù)姆阑饓駾oS防護系統(tǒng)、內(nèi)容管理系統(tǒng)配置問題。防御系統(tǒng)是保證托管服務正常運行的關(guān)鍵因素之一，并且這些系統(tǒng)通常會配置為自動阻止超量的服務器請求。由于百度spider發(fā)出的請求通常要比普通用戶多，因此可能會觸發(fā)這些防御系統(tǒng)，導致它們阻止百度spider訪問并抓取您的網(wǎng)站。要解決此類問題，您需要確定網(wǎng)站基礎(chǔ)架構(gòu)中的哪個部分在阻止百度spider，然后取消該阻止。如果您沒有控制防火墻的權(quán)限，就需要與您的托管服務提供商聯(lián)系解決此問題。
【robots封禁問題】
在抓取診斷工具中如果返回的抓取失敗結(jié)論是robots封禁，請確認您是否對該網(wǎng)址設置了robots，阻止百度spider抓取網(wǎng)站的某些內(nèi)容，如果您未使用robots文件屏蔽百度，請點擊旁邊的報錯鏈接，百度會立即更新您站點的robots信息；如果是您的誤操作導致了封禁，請及時修改robots文件，避免造成您的網(wǎng)站在百度收錄量和流量的下降。
百度支持抓取的url長度不超過1024，如果您的鏈接長度過長，請在保證正常訪問的情況下，適當精簡，保證鏈接能被百度正常抓取和收錄。
【重定向錯誤】
重定向是指百度spider訪問鏈接時發(fā)生了跳轉(zhuǎn)，如果跳轉(zhuǎn)后的鏈接超長或者連續(xù)跳轉(zhuǎn)的次數(shù)超過5次，就會發(fā)生重定向錯誤而導致抓取失敗。
【服務器連接錯誤】
這種情況是指，由于服務器響應過慢或您的網(wǎng)站屏蔽了百度spider，而導致百度無法訪問您的網(wǎng)站。從而會導致百度無法正常收錄或者更新您網(wǎng)站的內(nèi)容。您可能看到以下具體錯誤：連接超時、連接失敗、連接被拒、無響應、響應遭到截斷、連接重置、標頭遭到截斷、超時。
*如何處理服務器連接錯誤？
減少動態(tài)網(wǎng)頁請求的過多網(wǎng)頁加載。如果網(wǎng)站為多個網(wǎng)址提供相同內(nèi)容，則會被視為動態(tài)提供內(nèi)容（例如，www.example.com/shoes.php?color=red&size=7與www.example.com/shoes.php?size=7&color=red提供的內(nèi)容相同）。動態(tài)網(wǎng)頁的響應時間可能會很長，并會因此導致超時問題。或者，服務器可能會返回超載狀態(tài)，要求百度spider放慢抓取該網(wǎng)站的速度。一般來說，建議您盡量使用簡短的參數(shù)并謹慎使用。
確保您網(wǎng)站的托管服務器沒有停止運行、超載或配置不當。如果連接問題、超時問題或響應問題仍然存在，請與您的網(wǎng)站托管服務提供商聯(lián)系，并考慮增強您的網(wǎng)站處理流量的能力。
檢查網(wǎng)站是否不小心屏蔽了百度spider的IP。您可能會由于系統(tǒng)級問題而阻止了百度訪問，例如DNS配置問題、配置不當?shù)姆阑饓駾oS防護系統(tǒng)、內(nèi)容管理系統(tǒng)配置問題。防御系統(tǒng)是保證托管服務正常運行的關(guān)鍵因素之一，并且這些系統(tǒng)通常會配置為自動阻止超量的服務器請求。由于百度spider發(fā)出的請求通常要比普通用戶多，因此可能會觸發(fā)這些防御系統(tǒng)，導致它們阻止百度spider訪問并抓取您的網(wǎng)站。要解決此類問題，您需要確定網(wǎng)站基礎(chǔ)架構(gòu)中的哪個部分在阻止百度spider，然后取消該阻止。如果您沒有控制防火墻的權(quán)限，就需要與您的托管服務提供商聯(lián)系解決此問題。
【robots封禁問題】
在抓取診斷工具中如果返回的抓取失敗結(jié)論是robots封禁，請確認您是否對該網(wǎng)址設置了robots，阻止百度spider抓取網(wǎng)站的某些內(nèi)容，如果您未使用robots文件屏蔽百度，請點擊旁邊的報錯鏈接，百度會立即更新您站點的robots信息；如果是您的誤操作導致了封禁，請及時修改robots文件，避免造成您的網(wǎng)站在百度收錄量和流量的下降。
【DNS問題】
DNS錯誤是指由于服務器停止運行或DNS到您網(wǎng)域的路由存在問題，導致百度spider無法與DNS服務器通信。
*如何處理DNS錯誤？
確保百度能夠抓取您的網(wǎng)站。對重要網(wǎng)頁（例如您的首頁）采用抓取診斷工具，如果它能順利返回您的首頁內(nèi)容，那么您就可以認為百度能夠正常訪問您的網(wǎng)站。
對于持續(xù)的或反復出現(xiàn)的DNS錯誤，請與您的DNS提供商聯(lián)系。通常情況下，您的DNS提供商即為網(wǎng)站托管服務提供商。
配置您的服務器，使其能夠以404或500等HTTP錯誤代碼對不存在的主機名作出響應。
【404錯誤】
一般情況下，當百度spider訪問到不存在的網(wǎng)頁（因為您刪除或重命名了網(wǎng)頁且沒有將舊網(wǎng)址重定向到新網(wǎng)頁，或者鏈接中存在拼寫錯誤）時，就會出現(xiàn)“未找到”狀態(tài)錯誤（通常是404 HTTP狀態(tài)代碼）。
DNS錯誤是指由于服務器停止運行或DNS到您網(wǎng)域的路由存在問題，導致百度spider無法與DNS服務器通信。
*如何處理DNS錯誤？
確保百度能夠抓取您的網(wǎng)站。對重要網(wǎng)頁（例如您的首頁）采用抓取診斷工具，如果它能順利返回您的首頁內(nèi)容，那么您就可以認為百度能夠正常訪問您的網(wǎng)站。
對于持續(xù)的或反復出現(xiàn)的DNS錯誤，請與您的DNS提供商聯(lián)系。通常情況下，您的DNS提供商即為網(wǎng)站托管服務提供商。
配置您的服務器，使其能夠以404或500等HTTP錯誤代碼對不存在的主機名作出響應。
【404錯誤】
一般情況下，當百度spider訪問到不存在的網(wǎng)頁（因為您刪除或重命名了網(wǎng)頁且沒有將舊網(wǎng)址重定向到新網(wǎng)頁，或者鏈接中存在拼寫錯誤）時，就會出現(xiàn)“未找到”狀態(tài)錯誤（通常是404 HTTP狀態(tài)代碼）。
【訪問遭拒絕】
一般情況下，百度會通過跟蹤網(wǎng)頁間的鏈接來查找內(nèi)容。百度spider必須能夠訪問某個網(wǎng)頁才能抓取該網(wǎng)頁。如果您意外地看到了“訪問遭拒”錯誤，可能是由于以下幾種原因?qū)е碌模?br>（1）百度spider無法訪問您網(wǎng)站上的網(wǎng)址，因為您網(wǎng)站上的所有或部分內(nèi)容要求用戶登錄后才能查看。
（2）您的服務器要求用戶使用代理進行身份驗證，或者您的托管服務提供商阻止百度spider訪問您的網(wǎng)站。
【參數(shù)錯誤】
由于請求的語法格式有誤，不符合服務器對請求的某些限制，或者請求本身存在一定的錯誤，服務器無法理解此請求，導致抓取失敗。
【socket讀寫錯誤】
當百度spider訪問服務器，進行tcp通信的時候，socket讀寫發(fā)生異常，導致數(shù)據(jù)不能正常返回。請檢查服務器連接狀況和防火墻設置是否符合預期。
【讀取http頭或者頁面內(nèi)容時失敗】
您的服務器收到了我們的完整請求，但是返回信息時不完整，http頭或者響應正文發(fā)生了截斷，導致網(wǎng)頁內(nèi)容不能正常讀取。
一般情況下，百度會通過跟蹤網(wǎng)頁間的鏈接來查找內(nèi)容。百度spider必須能夠訪問某個網(wǎng)頁才能抓取該網(wǎng)頁。如果您意外地看到了“訪問遭拒”錯誤，可能是由于以下幾種原因?qū)е碌模?br>（1）百度spider無法訪問您網(wǎng)站上的網(wǎng)址，因為您網(wǎng)站上的所有或部分內(nèi)容要求用戶登錄后才能查看。
（2）您的服務器要求用戶使用代理進行身份驗證，或者您的托管服務提供商阻止百度spider訪問您的網(wǎng)站。
【參數(shù)錯誤】
由于請求的語法格式有誤，不符合服務器對請求的某些限制，或者請求本身存在一定的錯誤，服務器無法理解此請求，導致抓取失敗。
【socket讀寫錯誤】
當百度spider訪問服務器，進行tcp通信的時候，socket讀寫發(fā)生異常，導致數(shù)據(jù)不能正常返回。請檢查服務器連接狀況和防火墻設置是否符合預期。
【讀取http頭或者頁面內(nèi)容時失敗】
您的服務器收到了我們的完整請求，但是返回信息時不完整，http頭或者響應正文發(fā)生了截斷，導致網(wǎng)頁內(nèi)容不能正常讀取。
以上內(nèi)容是否對您有幫助：
← 抓取異常
更多建議：