分享一下robots.txt寫法

很多SEOer不會robots.txt寫法接下來我分享一下我的robots.txt寫法robots.txt大家應該都清楚其作用，是SEO中不可缺少的一部分，更是網站與搜索引擎蜘蛛通信的唯一介面。那麼如何設置好robots.txt文件，顯的至關重要。搜索引擎機器人在訪問一個網站的時候，會首先檢查該網站根目錄下是否有一個robots.txt的文件，它會根據文件里的詳細通訊協議進行網站爬行，如果網站沒有禁止蜘蛛爬行的路徑，則可以設置為空，這是與搜索引擎簽訂的協議。在3G旅遊網中，robots.txt的規則起到了至關重要的作用。 首先，我們從其定義講到其使用方法，方便光大seoer更加精準的使用rotbots.txt使用。 一、定義: robots.txt 是存放在站點根目錄下的一個純文本文件，讓搜索蜘蛛讀取的txt文件，文件名必須是小寫的「robots.txt」。 二、作用: 通過robots.txt可以控制搜索引擎收錄內容，告訴蜘蛛哪些文件和目錄可以收錄，哪些不可以收錄。 三、語法: User-agent:搜索引擎的蜘蛛名 Disallow:禁止搜的內容 Allow:允許搜的內容 四、實例： 1.User-agent: * //禁止所有搜索引擎搜目錄1、目錄2、目錄3 Disallow: /目錄名1/ Disallow: /目錄名2/ Disallow: /目錄名3/ 2. User-agent: Baiduspider //禁止百度搜索secret目錄下的內容 Disallow: /secret/ 3. User-agent: * //禁止所有搜索引擎搜索cgi目錄，但是允許slurp搜索所有 Disallow: /cgi/ User-agent: slurp Disallow: 4. User-agent: * //禁止所有搜索引擎搜索haha目錄，但是允許搜索haha目錄下test目錄 Disallow: /haha/ Allow:/haha/test/ 五、常見搜索引擎蜘蛛的代碼 #搜索引擎User-Agent代碼對照表######################## # 搜索引擎 User-Agent代碼 # AltaVista Scooter # Infoseek Infoseek # Hotbot Slurp # AOL Search Slurp # Excite ArchitextSpider # Google Googlebot # Goto Slurp # Lycos Lycos # MSN MSNBOT # Netscape Googlebot # NorthernLight Gulliver # WebCrawler ArchitextSpider # Iwon Slurp # Fast Fast # DirectHit Grabber # Yahoo Web Pages Googlebot # Looksmart Web Pages Slurp # Baiduspider Baidu 以上是rotbots.txt使用方法，可能會有人問，我肯定是要讓搜索引擎全部抓取的，那rotbots.txt對我而言，豈不是沒有作用了嗎？其實不然，rotbots.txt的設置，對於SEO來說是有一定原因的。舉例說明： 1、在進行網站優化時，常常出現很多不同的URL指向相似的網頁，這是不符合「網頁內容互異性原則」的。設置好了robots.txt可屏蔽掉次要的鏈接。 2、網頁改版、URL靜態化時，會殘留許多死鏈接以及不友好搜索引擎的鏈接，我們需要把他們全部屏蔽掉，仍然要用rotbots.txt來進行設置。 3、許多沒有進行關鍵詞設置的頁面，比如：http://www.baidu.com/bj/youhua-bj/，屏蔽其URL後SEO效果會更好。 4、許多站內會有全站搜索，這種頁面是動態化的頁面，而且是不確定的臨時頁面，用rotbots.txt屏蔽其頁面，對網站優化的效果也會不錯。
推薦閱讀：