抓取異常

2018-08-10 09:54 更新
什么是抓取異常
  Baiduspider無法正常抓取,就是抓取異常。

抓取異常對網(wǎng)站有哪些影響
  對于大量內(nèi)容無法正常抓取的網(wǎng)站,搜索引擎會認為網(wǎng)站存在用戶體驗上的缺陷,并降低對網(wǎng)站的評價,在抓取、索引、權(quán)重上都會受到一定程度的負面影響,最終影響到網(wǎng)站從百度獲取的流量。

抓取異常的原因有哪些

一、網(wǎng)站異常

1、dns異常
  當Baiduspider無法解析您網(wǎng)站的IP時,會出現(xiàn)DNS異常??赡苁悄木W(wǎng)站IP地址錯誤,或者域名服務(wù)商把Baiduspider封禁。請使用WHOIS或者host查詢自己網(wǎng)站IP地址是否正確且可解析,如果不正確或無法解析,請與域名注冊商聯(lián)系,更新您的IP地址。

2、連接超時
  抓取請求連接超時,可能原因服務(wù)器過載,網(wǎng)絡(luò)不穩(wěn)定

3、抓取超時
  抓取請求連接建立后,下載頁面速度過慢,導致超時,可能原因服務(wù)器過載,帶寬不足

4、連接錯誤
  無法連接或者連接建立后對方服務(wù)器拒絕

二、鏈接異常

1、訪問被拒絕
  爬蟲發(fā)起抓取,httpcode返回碼是403

2、找不到頁面
  爬蟲發(fā)起抓取,httpcode返回碼是404

3、服務(wù)器錯誤
  爬蟲發(fā)起抓取,httpcode返回碼是5XX

4、其他錯誤
  爬蟲發(fā)起抓取,httpcode返回碼是4XX,不包括403404

以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號