如何優雅的生成（SITEMAP）網站地圖
第一次在知乎寫這樣的文字，想想還是挺激動的哎！
現在回到題目《如何優雅的生成（SITEMAP）網站地圖？》，首先關注優雅兩字，要知道如果不是通過網站程序自己生成的網站地圖，要使用三方工具生成網站地圖，不幸的是，遇到哪種經營很長時間的的網站，是非常耗費世間的事。
關鍵點到了，一個頁面老是一直載入，長時間不動的話，真擔心瀏覽器突然掛掉，萬一在等待網站地圖文件的過程中，被拉閘了斷電，真要命，emmmm。所以，生成網站地圖應該要支持斷點恢復這個功能吧。
對於一個鏈接幾百萬的網站，所有的數據也是巨大的，如果用伺服器來處理所有的鏈接，然後返回給頁面，這也不可取，誰知道你在用的時間，還有多少個用戶又在用呢？
HTML 5 的IndexedDB 這API給了運營者一個大大的福音，通過B/S結構的軟體，實現了C/S結構軟體的功能。
使用java、python、php這樣的語言來處理頁面，獲取當前頁面的鏈接，然後數據對比、儲存就交給前台，有效的降低了伺服器壓力，還能實現真正的獲取全站鏈接。
對於用戶來講，生成網站地圖應該要簡單，所以這將所有處理的邏輯交給了開發人員。
我在做sitemap網站地圖免費生成工具 (https://sitemap.webkk.net)這個網站之前，也是普通用戶，有時有也需要生成網站地圖，使用其他三方工具的過程中發現，使用在線工具，如果不給錢，就只能抓取有限的幾百個鏈接，但是又拒絕下載離線工具。
前面說了那麼多，這就是為什麼我敢開放抓取全站鏈接的原因。
使用方式：
一、選擇網站的HTTP協議；
二、鍵入網址；
三、選擇頁面編碼方式；
然後點擊開始抓取，需要注意的是，生成的過程中，支持暫停，或者關閉瀏覽器，下次繼續從上次暫停的位置抓取。這對於網站鏈接較多，生成過慢有很大的幫助。當然，如果你不小心刪除了生成的網站地圖，那麼第二次抓取就非常快速了，只要你不勾選更新數據。
最後，下載相應格式的網站地圖文件，然後處理。
推薦閱讀：