App下載

在線robots.txt文件生成工具

　這款在線robots.txt生成器提供多種常見(jiàn)的設(shè)置選項(xiàng)供站長(zhǎng)選擇使用，可根據(jù)具體需要生成符合robots協(xié)議的robots文件，是一款非常實(shí)用的SEO工具


默認(rèn) - 所有機(jī)器人是:  
檢索間隔:
Sitemap: (留空為無(wú))
   
普通搜索機(jī)器人: Google googlebot
  Baidu baiduspider
  MSN Search msnbot
  Yahoo yahoo-slurp
  Ask/Teoma teoma
  Cuil twiceler
  GigaBlast gigabot
  Scrub The Web scrubby
  DMOZ Checker robozilla
  Nutch nutch
  Alexa/Wayback ia_archiver
  Naver naverbot, yeti
   
特殊搜索機(jī)器人: Google Image googlebot-image
  Google Mobile googlebot-mobile
  Yahoo MM yahoo-mmcrawler
  MSN PicSearch psbot
  SingingFish asterias
  Yahoo Blogs yahoo-blogs/v3.9
   
限制目錄: 路徑是相對(duì)的，但每個(gè)路徑之前都要包含："/"
 
 
 
 
 
   
   

現(xiàn)在，你創(chuàng)建一個(gè)空白的文本文件，命名為：“robots.txt”，然后把上面的內(nèi)容，復(fù)制并粘貼到“robots.txt”中去。把“robots.txt”放在你網(wǎng)站的根目錄，并確保他能讓訪問(wèn)者（如搜索引擎）訪問(wèn)到。