自建免費PYTHON爬蟲代理IP池

大家好，我還是小四毛，不是崔老師！！！！崔老師在隔壁，哈哈哈。

寫了一個從網上抓取代理IP，然後構建代理IP池的腳本，放在了這裡：https://github.com/xiaosimao/IP_POOL

以後應該還會有很多的改動， 歡迎有興趣的同學star，以便及時可以收到改動的通知。

目前是從以下幾個網站獲取IP：66ip，xicidaili，data5u，proxydb。

具體的使用方法文檔在readme.md 中， 歡迎交流。

如果你需要從別的網站獲得， 那麼可以在配置文件中進行相關的配置即可， 如果實在不想自己寫，也可以提issue給我，我會看情況更新到代碼中。

一般情況下，只要配置一下配置項就可以從新的網站獲取IP，最大限度減少寫代碼的時間。

免費的ip，質量不敢保證，目前測試的目標網站為百度和https://httpbin.org/get， 還是獲得了一些通過測試的IP，下面是截圖。

轉載請註明：靜覓 ? 自建免費PYTHON爬蟲代理IP池

自己動手，豐衣足食！Python3網路爬蟲實戰案例 自己動手，豐衣足食！Python3網路爬蟲實戰案例

關鍵字：已有1039 人學習 貓眼電影、今日頭條街拍、淘寶商品美食、微信文章、知乎用戶信息等案例，結合反爬策略，例例實戰 已連載完畢。

推薦閱讀：