【SEO】有了這個工具，數據採集抓取如此簡單，動態代理IP原來是這麼回事

對於SEO和很多網路營銷推廣工作來說，採集抓取和模擬訪問都是必備的工作。

這時候就會面臨一些問題：

1、對於網站平台方來說，採集抓取會造成伺服器壓力過大，對正常用戶的訪問產生干擾。而且內容被競爭對手或高權重網站採集走，對自己流量是一種威脅。

所以很多網站都不歡迎採集行為，除了百度這些能帶來流量的蜘蛛，基本上能屏蔽都會屏蔽。

可對於站長和一些做數據分析工作的人來說，不讓採集也得想辦法。

2、還有一些做百度知道推廣的朋友，自問自答是很常見的事，這也需要更換不同地區的IP。

3、再比如百度搜索結果在不同地區的排名也是不一樣的，想知道某個關鍵詞在對應地區的排名？也需要對應地區的IP資源。

還有很多使用場景，比如投票、註冊等等，都需要大量的不同IP資源。

那怎麼解決呢？

市面上有一種產品叫做IP代理，可以完美解決這個問題，我們也做了一個類似產品叫謝邀雲服務。

目前還在內測中，網址是：http://www.xieyaoyun.com:804/

目前客戶案例：

A、某朋友APP每天都增量採集500萬大眾點評網上的餐飲優惠信息。

B、某知名B2B網站幫客戶商鋪查關鍵詞的百度排名獲取、變更情況。

這種產品的原理是什麼？

這種產品最重要的資源是大量支持ADSL撥號的VPS伺服器。

據說最初始這種線路商都是坐火車跑全國買ADSL線路。

然後把這些不斷撥號獲得的IP地址放到公共IP池裡，需要用的時候拿出來使用。

也有一些平台會掃描大量代理IP混合在一起，提升自己總的可用IP量。

產品如何使用？

我們設計了兩種代理模式：

一種叫動態代理模式（爬蟲模式），每次請求網頁都會換一個IP，非常適合於採集數據資料。

另外一種叫經典代理模式（自主切換IP模式），每隔5分鐘會切換IP，但你也可以通過命令請求自己切換。

支持各種編程語言都可以接入使用，比如php、java、python等等。

先購買對應模式的隧道賬號

Python3 爬蟲模式接入代碼如下

# 導入request庫，用於做http請求nimport requestsnn# 要訪問的目標頁面ntargetUrl = "http://ip.3322.org/"nn# 動態代理伺服器nproxyHost = "dongtai.xieyaoyun.com"nproxyPort = "33002"nn# 代理隧道驗證信息nproxyUser = "你的隧道用戶名"nproxyPass = "你的隧道密碼"nnproxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {n "host" : proxyHost,n "port" : proxyPort,n "user" : proxyUser,n "pass" : proxyPass,n}nnproxies = {n "http" : proxyMeta,n "https" : proxyMeta,n}nnresp = requests.get(targetUrl, proxies=proxies)nnprint(resp.status_code)nprint(resp.text) n

做百度知道問答需要更換瀏覽器的IP地址，那如何操作呢？

如果你用的Windows系統，打開瀏覽器的Internet屬性設置，點擊連接->區域網設置->代理伺服器

把購買的經典版代理的伺服器地址填進去： http://jingdian.xieyaoyun.com，埠使用33001

當你設置好這些後，再次刷新瀏覽器（Chrome、IE、Firefox基本相同）會提示你輸入用戶名和密碼，這裡填寫你購買的經典版隧道用戶名和密碼即可。

這時你就可以打開百度知道登錄提問了。

打開http://ip138.com查下當前的IP地址如下：

當你想切換IP時候，瀏覽器輸入如下地址：

或者等5分鐘IP切換後，清除瀏覽器cookie信息，重啟瀏覽器登錄其他百度賬號回答問題。

總結

利益相關，以上是自己公司提供的代理IP服務介紹和說明。

如果你或者朋友有對應的需求，歡迎加我微信交流購買：vista8

目前僅需100元/月。（同行都在200以上，甚至高達400元/月）

與此同時，希望結識更多做數據採集相關的小夥伴，一起交流學習技術。

推薦閱讀：