如何找到互聯網上的所有網站?
01-21
我們知道互聯網上有成萬上億個網站,但是如何找到這些網站,比如,我想找所有論壇或者網站排名在100萬以外的網站,有什麼工具是可以利用的嗎?比如alexa等,該如何利用才能找到這些網站呢?因為通過導航站,他們提供的太少了。
曾經有個人問另一個人:你能知道太平洋有多少升水嗎?
另一個人答:給我太平洋這麼大的量杯,我就能告訴你答案。通過隨機在導航網站上找一個在公網中的網站,只要他的外鏈數超過3個,都可以通過它,找到世界上所有的網站。
但是找到有意義嗎?100W以外的網站得有多少?你有多大的資料庫來裝得下?100W以外的網站排名每秒可能就變化成千上萬次,有新生的,有掛掉的,有被GFW的,你如何去定位他們?我們有全球所有域名的庫,但是有的域名沒有建站,需要做二次篩選。
http://top.chinaz.com 網站排行榜 這裡是排名較好的站點
http://17startup.com 這裡是大部分的新站點
建議多看看成熟的站點 創意的好站雖然看上去美 但是死的也快建議樓主先默寫自己知道的網站,啥時候能默寫出來1000個,也就不再有現在這個問題了。
http://alexa.com有熱門網站頻道,可以研究一下。http://www.daaii.com收集的漂亮好站也不少
窮舉吧http://a.comhttp://aa.comhttp://ab.comhttp://ba.com
http://bb.com
http://aaa.com.......http://a1.com
http://1a.com.......http://a.orghttp://aa.orghttp://ab.org.......互聯網網站盡在你手一人建一樓http://www.yuda.cn/
從任意一個網站開始,當然最好是網址站一類。有連接就點進去,然後再重複這個步驟無限多次,就可以找到全部的網站。
咋 可能無解呢?肯定有解,上面說的窮舉法是非常靠譜的一個方法,我當時也想過這個問題!
但是意義不大,為什麼呢,網站其實就是域名,有些網站是內站,有些生,有些死,有些興。再你花費時間找到了所有網站的時候,已經新生了多少站點,已經死去了多少站點。你不可能抓住最新的狀態的。無解。
最簡單但一般人又不可能實現的是:聯繫所有域名的根伺服器,得到所有的域名。比方說從中國域名的根伺服器得到所有.cn的域名。
沒有誰需要瀏覽『互聯網上的所有網站』,但在收集資訊時我們希望能儘可能多地找到相關主題的站點。發現相關站點的渠道有很多,例如delicious這樣的社會化書籤服務就可以讓你通過tag尋找對你有用的網站集。
推薦閱讀:
※如何評價阿里釘釘的 2017 秋季戰略發布會?
※阿里釘釘推出「樣板房」,這是企圖顛覆傳統管理諮詢行業?
※搶第一的人是什麼心態?
※Worktile作為協同辦公軟體與同類產品相比有哪些優劣?
※2014 年國內誕生了哪些有影響力的互聯網產品?
TAG:互聯網創業公司 | 互聯網 | 互聯網產品 | 產品運營 | 互聯網廣告 | 互聯網產品設計 | 互聯網創業 | 互聯網數據分析 |