蜘蛛池的原理是什麼?
最近常見一個名詞,蜘蛛池,它的原理是什麼?
很久以前,本渣渣在小號寫過關於蜘蛛池的科普貼~~原文貼過來~~
----
這是一篇介紹蜘蛛池和刷百度指數的科普貼。
利用大中型站點搜索結果頁做外推,估計在大中型網站工作的同學都碰到過,把業務詞(大多是業務+聯繫方式,如「辦假證聯/系139_2011_329」)作為query,構造出搜索結果頁的url,並將url主動曝光給搜索引擎抓取,達到業務詞在搜索結果中霸屏的目的。
還有很多人做新站,前期搜索引擎抓取量極低,會通過蜘蛛池引蜘蛛抓取,快速度過沙盒期。
上面兩個例子,將url主動曝光給搜索引擎就是通過蜘蛛池實現的。淘寶上做蜘蛛池服務的,會說蜘蛛池是一種通過大量網站將百度蜘蛛來訪時集成一個池(約150個蜘蛛/秒),通過程序控制池顯示不同的外鏈地址給蜘蛛,這樣可以快速大量收錄站群鏈接或者外推鏈接。
好吧,我猜你肯定沒明白。說白了,蜘蛛池就是一堆由垃圾域名組成的站群,在每個站點下都生成海量頁面(抓一堆文本內容相互組合),頁面模板與正常網頁沒多大區別。由於每個站點都有海量的頁面,所以整個站群的蜘蛛總抓取量也是巨大的。給未收錄的頁面引蜘蛛,就是在站群正常網頁的模板中單獨開一個DIV,塞上未收錄網頁的鏈接,伺服器不設緩存,蜘蛛每次訪問,這塊DIV中展現的鏈接都是不一樣的。
說到這你應該明白了,其實就是給那些未收錄的頁面,在短時間內提供大量的真實的外鏈,入口曝光多了,被抓取幾率就大,收錄率自然也就上去了,又因為是外鏈,所以在排名上也有一定的正向加分。說到底,蜘蛛池的做的就是外鏈,所謂日發外鏈300萬,並不是不可能實現的。比如第一個例子中做搜索外推的,就是在站群的網頁中掛了一堆大中型網站搜索結果頁的鏈接。
要實現這東西,關鍵的不是技術問題,因為技術上實現並不複雜,主要是資源的問題,因為需要維護站群,每個站點做的越像正規站,蜘蛛抓取量就多。網上很多賣蜘蛛池程序的,開價基本5、6k,小白們估計以為拿過來就能直接刷,然後收錄就蹭蹭的漲,你交完錢後發現,其實就給你一套源碼,讓你回去自己填內容,然後掛載到網站底下刷,那麼問題來了,你手裡有那麼多站么?
下面說說刷百度指數。影響百度指數的主要是當日用戶搜索量和新聞源曝光量。
市面上所有刷百度指數的,都是通過刷搜索量來的,就是在百度中不斷的搜索要刷的那個詞,每次點擊ip、cookie、ua什麼的都要換。刷的模式有兩種,一種是通過控制瀏覽器真實訪問百度搜索,另一種是通過用戶訪問流量著陸頁的時候,同時或等待一定時間請求百度搜索結果頁,這點倒可以類比下通過百度統計JS用來DDOS Github(逃~),其最終的目的都是訪問百度搜索結果頁。
先說第一種控制瀏覽器訪問百度,有些軟體是直接用本地的瀏覽器,有些軟體是內置個瀏覽器內核。理論上這個刷指數的效果是最好的,因為完全是真實的瀏覽器訪問,百度根本無法識別真假,但效率很慢,若刷的詞很多的話,就比較麻煩了,得在多台機子上掛著程序。
另一種也好理解,比方說在一個有流量的網站里加iframe指向百度搜索結果頁:
&
用戶訪問這個網頁的同時也訪問了百度。如果手裡的網站都沒流量也沒關係,隨便找個網頁加上iframe指向百度,掛個流量寶不斷刷這個網頁也OK。
當然,iframe這麼寫會肯定會沒效果,因為意圖太明顯,並且從瀏覽器訪問,url參數不會這麼少。所以需要隱蔽處理。
可以通過JS加密:
&
或在iframe中指向到另一個非百度的頁面:http://www.domain.com/a.html,然後這個頁面內嵌iframe指向到百度搜索結果頁,是帶著所有搜索參數的url哦~
其實做黑帽,很大程度都是依託於資源,比方說站群,有些做站群的主要變現渠道並不是廣告,不會選行業的,做出來很多是垃圾量,轉化低得很,而是已手裡面一堆站為基礎,通過提供蜘蛛池、刷指數、刷流量等服務來變現。這種草根的需求圈外人不知道,知道了也可能看不上。
想明白自己手裡有什麼資源,這個資源能提供什麼需求,誰有這個需求,三點打通了,往往就可以將資源變成錢。
要了解蜘蛛池的原理,你先要知道蜘蛛的是如何工作的。
一般網頁上都會存在超鏈接,而超鏈接會將互聯網上的大多數網頁連接起來,形成一個類似蜘蛛網的結構。
而蜘蛛的一項工作就是沿著網去儘可能多的爬行尚未爬過的頁面。
蜘蛛池的原理:相當於人為的製造了一張不斷變大的網,把蜘蛛困在裡面,讓它不斷的爬行網內的頁面。
-
拓展閱讀:蜘蛛池相關知識
蜘蛛池這個東西賣的很火,吹的神乎其神的人也不少.
但是你真正理解搜索引擎原理就會知道,這個東西的唯一作用就是把蜘蛛引導到你的網站上.
充其量也就個促進收錄的作用.
1) 頁面量級較大的站點
使用蜘蛛池,的確是能短時間提升收錄,達到一定的流量抬升.
不過更科學的做法應該是,合理優化鏈接結構,該nofollow的地方就no掉,合理引導蜘蛛.
嗯,的確目前看起來是沒什麼風險.
但是你思考下,使用蜘蛛池的都是些什麼站點.
期望短期上排名,作弊的居多對吧.
萬一有一天這個被列為反作弊檢測指標,那你不是得不償失.
2) 頁面量級小
頁面量級小,指的是你站點上的蜘蛛爬取量,已經足以覆蓋你的每一個頁面了.
那麼,你再去買蜘蛛池促收錄,相當於就是往灌滿水的池子里繼續注水.
為了讓池子早幾個小時灌滿,就去買這種服務,完全是無意義的浪費.
PS:而往往購買這些服務的,都是這類小站的網站主.
他們大多展示的是這種案例.
他們的套路大多是利用具有一定權重的站點的搜索頁,掛上關鍵詞和自己的聯繫電話/QQ,然後利用蜘蛛池收錄.
他們把這個方法稱為外推.
首先,在14年,這個套路是有效的,而且是相當有效.
很多大詞都能見到這個套路的身影.
在2016年,這種能秒排的詞,往往是長尾詞的長尾詞,而這種詞是沒什麼搜索量的.
而搜索量的詞壓根排不上去,想通過這個方法促成交易,可能性微乎其微.
基本可以說是個註定賠本的買賣.
我還說鳳姐是宇宙第一美女,你信不?
-
原文地址:【若知】你所熟知的SEO知識,過時兩三年了,你知道嗎?
-
相關問題:
如何看待國家對百度排名的新規定? - 寒武的回答
新網站如何優化,能提高用戶體驗? - 寒武的回答
如何做SEO優化的幾點疑問? - 寒武的回答
如何自學 SEO? - 寒武的回答
最近流行的《2016年最難的SEO等級考試》正確答案是什麼? - 寒武的回答
搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛,也叫爬蟲。搜索引擎命令它到互聯網上瀏覽網頁,從而得到互聯網的大部分數據(因為還有一部分暗網,他是很難抓取到的)然後把這些數據存到搜索引擎自己的資料庫中。自己發帖或者外推產生的URL如果沒有搜索引擎蜘蛛爬行,那麼該搜索引擎就不會收錄該頁面,更不用說排名了。
而蜘蛛池程序的原理,就是將進入變數模板生成大量的網頁內容,從而吸大批的蜘蛛,讓其不停地在這些頁面中抓取,而將我們需要收錄的URL添加在蜘蛛站開發的一個特定版塊中。這樣就能使用我們需要收錄的URL有大量的蜘蛛抓取爬行,大大提升了頁面收錄的可能性。所謂日發百萬外鏈就是這樣來的,一個普通的蜘蛛池也需要至少數百個域名。而據我所知高酷蜘蛛池大概有2000個獨立域名,日均蜘蛛200W。是比較龐大的一個蜘蛛池了。
以上就是蜘蛛池的原理,那麼如何搭建蜘蛛池?
1.多IP的VPS或伺服器(根據要求而定)
多IP伺服器,建議美國伺服器,最好是高配配,配置方面(具體看域名數量)不推薦使用香港伺服器,帶寬小
,容易被蜘蛛爬滿。重要的是伺服器內存一定要大,之前我們就遇到過,前期剛做的時候,用的內存比較小,蜘蛛量一大的話,立馬就崩了。
2.一定數量的域名(根據數量而定)
可購買閑置的二手的域名,域名便宜的就好,好點的蜘蛛池,至少準備1000個域名吧,蜘蛛池目的為吸引蜘蛛,建議使用後綴為CN COM NET
之類的域名,域名計費以年為計費,成本不算太大,域名根據效果以及您的鏈接數量逐漸增加,效果會翻倍增長。也可在之前購買的域名上解析一部分域名出來,繼續增加網站,擴大池子,增加蜘蛛量。
3.變數模版程序 (成本一般千元左右)
可自己開發,如果不會的,也可在市場上購買程序變數模版, 靈活文章以及完整的網站元素引外鏈,CSS/JS/超鏈接等獨特的技巧吸引蜘蛛爬取!
讓每個域名下內容都變的不一樣!都知道百度對於網站重複內容的打擊態度,所以必須保持每個站的內容不要出現重複,所以變數程序就顯得尤為重要。
4.程序員(實力稍好點的)
需滿足,網站內容的採集以及自動生成,我們前期採集了不少詞條,自動組合文章,前期階段,一天五十萬文章的生成量,所以對伺服器是一個很大的壓力。最好程序員要懂伺服器管理維護之類的知識,很重要。
可以看出,蜘蛛池的成本其實不算低,數千個域名,大的伺服器,程序員,對於一般站長來說,搭建蜘蛛池成本偏高,性價比不高。建議租用蜘蛛池服務,網上也有高酷蜘蛛池、超級蜘蛛池等在線的蜘蛛池。SEO、外推、個人站長可以關注一下。
蜘蛛池的作用?
1.蜘蛛池的效果有哪些
答:可以快速讓你的站的連接得到搜索引擎的爬行
2.蜘蛛池可以提高網站權重嗎?
答:本身搜索引擎爬行和給予權重需要N天,因為第一個的原因,他可以快速的給予帶回數據中心,也就是說本來應該需要N天爬行的頁面,現在快速爬行了。但是是否會接著進行計算要看很多因素,比如
你網站自身權重、頁面質量、頁面推薦……
3.蜘蛛池的效果增加新站收錄嗎
答:一定程度上抓取的頁面多了,收錄會有一定比例的增加。
同意 @喻健 最後一句話,搜索引擎都是吃屎的
先上圖,再解釋
百度蜘蛛
谷歌爬蟲
必應機器人
百度,谷歌,必應是中國/美國最主流的搜索引擎了
然後也都不約而同地每日派幾萬個爬蟲抓取我個人網站
看到這裡覺得一切都很正常,但是
個人網站主體只有一個 200 KB 的 php 文件,每天百度、谷歌、必應累加 200000 次不停地抓取這一個文件,和蜘蛛池能吸引爬蟲相同的原理。
各大搜索引擎爬蟲有一個相似的演算法,是通過廣度優先策略抓取頁面的錨文本鏈接,只需要不斷更換扁平化頁面的錨文本鏈接,爬蟲就會持續不斷抓取下去。
解鈴還須繫鈴人
再貼下洗白蜘蛛池後的流量,是另外一種技術,因為遠遠超出常規做法,我不講,估計也沒人講了
百度搜索
谷歌搜索
必應搜索
製造垃圾很容易,做個分類回收的垃圾箱卻很難。
我採取過濾垃圾郵件的樸素貝葉斯方法,結合伺服器端建立黑名單,收集惡意刷垃圾詞的 ip 段和 user-agnet,再以替換關鍵詞彌補過濾器無法識別的一些政治黃色詞,多管齊下,達到洗白的效果,技術要求比較高。
最後,允許付費轉載。
蜘蛛池的作用就相當你一下子發很多的外鏈,因此有很多人都喜歡用它……
至於它的原理,你可以理解為我有一些蜘蛛經常來訪問的網站,非常多的蜘蛛,然後我在這些網站上給一個指向你網站的鏈接……
北京茂華製冷http://www.mhb2c.com
http://www.wsfashion.cn我的新站
無非就是模擬蜘蛛爬取,讓更多的蜘蛛爬取自己的網站利於內容收錄
蜘蛛池雖然是輔助工具,但也是十萬重要,工欲善其事,必先利其器嘛。好的站,加上好的輔助工具。才能有好的SEO效果。
然而現在作用已經越來越小。
還是程序厲害
我剛做網站。可以試試方法如何?效果好了,打賞!
多謝各位大神的解說
厲害 厲害
狗屁蜘蛛池,道白了就是站群垃圾軟體!騙人的。當搜索引擎都吃屎的
推薦閱讀:
※外賣配送的關鍵是什麼?
※許多網站將同一篇文章切割成好幾頁是出於什麼考慮?
※請相信外鏈的SEO人員,回答我的一個問題?
※網站的搜索結果排名規則?
※對 CSR(Client Side Rendering) 做 SEO 的工作為何落在了開發者身上?
TAG:搜索引擎優化SEO |