爬蟲怎麼解決封IP的問題？

12-28

目標網站國內，每天爬取量較大，大約在300萬左右的量，
目前1秒3次成功抓取即可，因為我們是在開多線程
現在發現ip被封的概率非常大

企業用，可付費購買IP（3000左右/月）、找不到有效的IP使用，求各位援手給指個方向叩謝

這個要創建一個ip代理池，定時檢測，保證能用的匿名代理。

1、可以從代理網站上抓取

2、也可以自己掃描

3、也可以購買。

4、購買雲主機，可以有一些ip。

5、可以定期斷網，更改ip。

.........................

爬蟲訪問中，如何解決網站限制IP的問題？

這個連接回答的比較全

我們做的雖然不是爬蟲，但是用到換IP，買個幾個伺服器，建了個IP池，每隔幾分鐘重新撥號下

搜索下代理IP池，找幾家試用下，選個相對靠譜的用。或者自己搭一個，Github上有開源的。