網站地圖（sitemap）對你到底有多重要？

05-09

眾所周知，網站地圖就是一個網站的一個導航，一個地圖。網站地圖（sitemap）列出了所有希望展示給用戶或者搜索引擎的鏈接或者文字。

在開發爬蟲系統的時候有一個很大的感觸，大型網站要爬完，是很耗費時間的一個工程，需要分析出網站的所有鏈接，可能需要注意到這麼幾點：

1、分析鏈接是本站和其他站的；

2、分析鏈接是否為有效鏈接；

3、排除相同的鏈接；

4、排除分析過的鏈接。

搜索引擎需要面對的，可不是某一個網站，它針對全球所有公開的網站的爬取。那麼搜索引擎的工作量就太大了，所以一個好的站點地圖的作用是什麼呢。

將網站所有需要展示的鏈接統一提交，這樣便於加快搜索引擎獲取全部網站的鏈接；如果網站地圖文件你做成了HTML格式，你還可以充當404的展示頁面，方便用戶點擊所需頁面。

網站地圖（sitemap）生成提交

網路上有很多在線生成網站地圖的工具，這裡我推薦使用

sitemap網站地圖免費生成工具?

sitemap.webkk.net

(https://sitemap.webkk.net)。這個工具雖然是免費的、在線的，但是性能不遜色離線工具。sitemap網站地圖免費生成工具利用現代HTML5 API 構建本地資料庫，伺服器後台僅僅處理頁面獲取和鏈接的分析，數據的存儲和分析、比較放在本地。這樣做的好處就是：

1、開放全站網站地圖鏈接抓取；

2、斷電恢復功能能夠；

3、永久保存數據；

4、第二次使用秒生成。

在找到這個工具之前，小編對比了現階段市面上所有的在線網站地圖生成工具，都沒有開放所有鏈接生成，只能獲取一定量的鏈接。所有後來找到了這個工具，分享給大家使用。