百度抓取異常處理

一、網(wǎng)站異常

1、dns異常
　　當Baiduspider無法解析您網(wǎng)站的IP時，會出現(xiàn)DNS異常。可能是您的網(wǎng)站IP地址錯誤，或者域名服務商把Baiduspider封禁。請使用WHOIS或者host查詢自己網(wǎng)站IP地址是否正確且可解析，如果不正確或無法解析，請與域名注冊商聯(lián)系，更新您的IP地址。

2、連接超時
　　抓取請求連接超時，可能原因服務器過載，網(wǎng)絡不穩(wěn)定

3、抓取超時
　　抓取請求連接建立后，下載頁面速度過慢，導致超時，可能原因服務器過載，帶寬不足

4、連接錯誤
　　無法連接或者連接建立后對方服務器拒絕

二、鏈接異常

1、訪問被拒絕
　　爬蟲發(fā)起抓取，httpcode返回碼是403

2、找不到頁面
　　爬蟲發(fā)起抓取，httpcode返回碼是404

3、服務器錯誤
　　爬蟲發(fā)起抓取，httpcode返回碼是5XX

4、其他錯誤
　　爬蟲發(fā)起抓取，httpcode返回碼是4XX，不包括403和404