為什麼網上Python爬蟲教程這麼多，但是做爬蟲的這麼少呢？爬蟲發展又該是如何呢？

01-30

其實爬蟲就是工具啊

類似你要做飯，那你總得買菜吧，爬蟲就是個買菜得過程啊

如果想轉職做爬蟲那多沒意思

首先，你看到的只是你的主觀感覺。

搞爬蟲的都在做項目掙錢可能很多人沒事不在網上發東西

爬蟲課程的要靠推廣引流來客源掙錢，所以推廣是他們的一項工作，不管seo sem還是廣告投入，博客軟文等等，都是為了掙錢剛好人家的掙錢推廣的基礎建立在你看到的所謂的「網上」。

贊同 @劉志軍說的「別把爬蟲當成你的唯一技能，也別python當成你的唯一工具「。爬蟲上手快，但是門檻不低，難的不是寫代碼，而是分析網站，尤其是現在反爬技術在更新，越加挑戰爬蟲設計者的綜合技能。未來爬蟲的基本框架會越來越多，最核心的工作很明顯就是分析之後寫正則爬取，但是如果要評估性價比，這個太難，因為每個人爬取的目的不同，所以沒辦法評估效益。最應該關注的發展方向就是數據安全，這個會決定爬蟲是否合規，如何才能合規的問題。

看應用的場景了和自身定位了，其實爬蟲的話實習生幾天就能上手，但能爬取大規模網站，處理、存儲tb乃至pb級的數據量，將數據可視化的展示出來，還是需要很強的技術積累的。

當然爬蟲崗位相比之下還是比較小眾，也可以多學點其他的技術，比如javaweb。

希望我的回答能幫助到你！

關注是為了再一次的交流，戳一戳左上角頭像點擊關注吧！

多數人寫程序不知道要幹嘛，沒有需求

爬蟲是個最天然的需求

把球踢進球門不也很簡單么，外面各種培訓班也到處是，也沒見中國隊勇奪世界盃啊。

爬蟲多數情況下屬於接近違反用戶協議的灰色地帶，比如LinkedIn用戶協議裡面明確規定爬取用戶數據用於商業用途是違反協議的，也就是可以起訴你，因為這樣LinkedIn才可以賣自己的數據服務。

爬蟲只是python下的一個很小的應用而已，所以單純做爬蟲的很少，說白了都是業餘愛好，就好比excel功能很強，但你只懂一個sum求和函數就想找工作？

有用的數據爬不了，爬蟲是個偽需求，現在所謂數據諮詢的小公司看的是銷售和boss的人脈，大一點的由合作方提供數據，除非做搜索引擎或者需要大量數據做文本分析，不然爬蟲爬下來的數據價值很低，而且爬蟲前端和數據部門都能做，不算一個單獨的崗位，也不建議拿來入門，很容易給自己過度自信的錯覺

Python在中國職位比較少，還有就是人們覺得做爬蟲不賺錢，Github上面還有很多免費的爬蟲框架

目前只是覺得好玩才爬的，至於其它還沒想那麼多

做爬蟲的很多啊~要不然那些大數據公司的數據是怎麼來的

大家寫爬蟲更多是因為數據分析找不到數據罷了吧。

這就是以前做外掛的流程，

平台從遊戲軟體換成了web

我就說爬蟲爬蟲，

這他媽的獲取個網頁源內容，一下怎麼就變成了爬蟲了。

既然這樣，做外掛的實現方式，有內存，有鍵鼠腳本。

那麼web做爬蟲的實現方式，有分析加密，也有js植入。

這不是沒啥兩樣嗎