豆丁網是在做黑帽 SEO 嗎？

12-27

請將文本展開，以更方便閱讀。

先申明一下，我並不是投訴或者什麼，只是想探討一下。我是一個數據挖掘愛好者，發現自己的爬蟲獲取的內容和百度爬蟲的不一樣，所以產生了疑惑。

例舉一個網頁：http://www.docin.com/p-264873547.html
普通用戶在這個網頁的源代碼中，基本看不到文字內容，只能通過網頁的flash來顯示文字內容。
而百度蜘蛛卻可以索引到這篇文檔的內容，我查看了一下，偽造百度爬蟲的來路後，
http://i.linkhelper.cn/robots.asp?weburl=http%3A%2F%2Fwww.docin.com%2Fp-264873547.htmlpagecode=utf-8
內容就會顯示出來。
明顯是在服務端判斷了User agent，給普通用戶和蜘蛛以不同的頁面。

可以通過搜索標記文字「競爭優勢」來對比原來的頁面源代碼和爬蟲爬的頁面源代碼的區別。

利用User agent來使得普通用戶和搜索引擎獲取的信息不對等，這種情況是不是就是屬於黑帽了。
因為這種情況不同於智能區分地域性，讓各地的人瀏覽的頁面不同的提高用戶體驗。

請各位解答我的疑惑。

這跟黑帽SEO有什麼關係，這是針對搜索引擎的優化，方便搜索引擎索引它的核心內容，是搜索引擎歡迎並且支持的模式。

當然我並不清楚黑帽SEO的精準定義，我姑且定義為spam行為。所謂的網頁spam，是指通過欺騙搜索引擎，或者惡意利用搜索引擎的排序規則漏洞來獲得高排名的行為。

很明顯docin即沒有欺騙，也沒有惡意利用。它只是將用戶看到的內容提供給了搜索引擎，這是值得所有網站可以學習的方法。

UA 識別，百度的人非常歡迎flash iframe站點這麼做的；

這個顯然不應該被稱作是黑帽SEO。

給SE索引的內容與給用戶看的內容並沒有什麼區別，

這樣做的目的是為了避免搜索引擎無法索引頁面（Flash內容無法解析），導致自然流量損失的風險。

謝謝@小迪的邀請

其實上面幾位已經說的比較清楚了，那我就補充一點我自己的看法吧。
LZ很細心，能夠發現這個問題，比我這種整天無所事事的人要強多了，哈哈。
現在開始說正題：
SEO本身的黑帽白帽行為就沒有很清楚的界定，所以SEO會有黑帽、白帽、灰帽之分。所謂的黑帽，並不是說你呈現給搜引的與你呈現給訪客的不同就要定性為黑帽，像這種不看前因後果直接把人一棍子拍死的行為很不道德，如果你呈現給訪客的內容與呈現給搜引的內容不一樣，同時訪客所看到的內容有損於用戶體驗，那才是黑帽。而豆丁並沒有，只是通過這種手段來方便搜引去抓取他的頁面內容這是很正常的優化行為。就像如果你有一個新站上線之後，搜引死活就是不收錄你的頁面，你應該怎麼做？發外鏈對不對？那發外鏈這種最傳統的引蜘蛛的做法是不是也屬於黑帽呢？同樣都是為了方便收錄，所以我覺得這根本就不是什麼黑帽行為，這只是一個最基本的網站內容優化而已。

從概念上來講，屬於黑帽行為。不過什麼事情做大了，黑的也成了白的了。同樣的事情，豆丁做百度就允許，但是你的小站來做，大概就會被沉底操作。

Google 抓取結果 http://tu.6.cn/pic/play-tu/id/0#13489428

Google 對此的描述 http://www.google.com/support/webmasters/bin/answer.py?hl=zh-Hansanswer=66355

注意到其中用語：如果您的網站根據 User agent 而顯示不同的搜索結果，那麼，我們可能會因此而認定您的網站具有欺騙性...

另外，機器是很難區分 cloak 過的頁面是否與前台顯示的頁面是有相同語義的，假如豆丁在呈現給搜索引擎的頁面中展示的是另外的與顯示完全不同的文字，從機器角度來看，是無法識別也無法判斷豆丁做的到底是「好事」還是「壞事」。所以，如果搜索引擎有檢測 cloaking 的機制，我認為豆丁的行為無疑會被判斷為作弊。只是一些大站大約會有另外的因素影響，所以經過最終多種因素的判斷，這種行為或許也就成了例外的允許了。

所以，如果你的網站也這麼做，可能不會有好的結果。

判斷是否是黑帽的核心是呈現給搜索引擎的內容否是和呈現給用戶的內容一致，如果不一致，而是僅僅獲得流量和排名，那無疑就是黑帽。

這個不能算作黑帽SEO；打個簡單的比方，豆丁的做法就好比是同一篇文檔，給你看的是PDF格式的，給搜索引擎看的word格式的，其實內容都一樣，不存在欺騙搜索引擎，只是為了對搜索引擎爬蟲更友好（因為爬蟲可能看不懂PDF格式的文檔，呵呵）。而判斷是否為黑帽SEO的最基本的要素就是：是否有欺騙搜索引擎或者惡意利用搜索引擎漏洞所做的一些行為。

lz是不是想表達這種行為是cloaking。
因為豆丁和百度文庫，輸出的內容都是嵌入在flash裡面的。對搜索引擎不友好，因為你不知道搜索引擎能不能解析。
所以他們的做法是會給百度spider一份文本形式的網頁。

評價網站優化是不是黑帽SEO，關鍵還是看動機是什麼。這個顯然不算。

記得百度官方對於flsh站的建議是，添加html頁面供搜索引擎查看---------（大膽推斷下，往大點說，那就是可以不給用戶看的）所以在有些內容的隱藏，一般百度並不會把它看做舞弊的手段，百度對於這種做法中的某些手法之所以比較反感，在於隱藏出站鏈接這塊尤其敏感些和多些（好吧，主觀臆想中....）。贊了下 @馬無名的回答，主要是太專業的東西不太懂。
從理論上來說，搜索引擎判斷User agent的違規行為，未來會不會根據網頁本身內容的相關性和用戶行為上去做判斷？

用戶看到的文檔內容和蜘蛛看到的文本內容一致，所以不是黑帽

黑帽，這個太不算了。簡簡單單的優化，並且大部分數據都是有價值的，我覺得對用戶，對企業，對百度，都很不錯