為什麼網上Python爬蟲教程這麼多，但是做爬蟲的這麼少呢？爬蟲發展又該是如何呢？
首先爬蟲不局限於Python，也有不少可替代語言可以實現。
應該是沒有團隊或者公司能把爬蟲做到盈利的（公司是以盈利為目的），更多是個人喜愛爬些數據，分析一下，弄個文章。
爬蟲與反爬蟲相互相成的，核心價值在數據上的分析（但是能爬到的不一定是核心數據!!!），更多是利用數據來做分析與監控。
栗子
酒店行業：
A酒店單間原￥200、現特價￥158；
B、C、D酒店就要監控各自的競爭對手的價格，做出主機的優惠活動
彈幕/微博/等相關UGC業務
監控輿論分析，適當做出正面回應
個人感覺爬蟲更多是一個工具。
做爬蟲的不少，只是不告訴你而已
不過在私活里爬蟲需求是少了，相反的質量提高了爬蟲(不論規模, 全網爬蟲也罷, API爬蟲也罷)作為獲取數據的手段之一, 從來都不是最終目的. 目的是從爬到的數據中挖掘價值.
只會爬蟲的人連"搬磚工"都稱不上, 頂天算是"運磚工". 當然了, 運五塊磚和運五噸磚的技術含量還是天差地別的.因為照著網上的爬蟲教程入門python快，做起來有成就感，但這種爬蟲只能作為娛樂。真正要做爬蟲，涉及到的東西太多了，不是一般人啊憑著一股衝動就能學下去的。關於爬蟲的發展，如果要架設一個大型分散式爬蟲，涉及大量數據，那成本可高了，人有那技術還去干爬蟲幹啥？
大部分人是為了學習Python而學爬蟲，而不是真的想做爬蟲，事實上，企業中真正能夠運行的爬取海量網站的爬蟲，需要考慮的事情太多了，這需要非常大的努力才能做好，這就意味著在企業中能做爬蟲的人一定是少量的頂尖人才。
其實很多大數據公司都是需要做爬蟲的，但你的爬蟲技術要過硬，不能只是隨便爬一下，獲取點數據就行，人家要的是全站數據還要進行更新，增量更新或者全量更新，還要存到資料庫，以及爬虫部署等。所以不能只單純覺得爬蟲簡單，與其相關的知識還有很多。
（⊙ｏ⊙）…，你是怎麼知道做爬蟲的人少的呢？
去拉鉤網上搜索一下與爬蟲有關的職位，可以看到下面的圖上，有366個職位。
至於多還是少，就對比著看一下
應該大家自己能比較出來。
下面說一下我覺得為什麼python的爬蟲教程多吧。
因為這個東西是能把你學的python的知識轉換為實戰比較快的方式，而且會覺得很有意思，而且不是很難，所以說有很多教程。大家覺得有意思，就想學啦。
平時的話其實我自己也是會用到爬蟲的。
我有一個網站，文藝數學君。每周五會更新一下這一周來在網站上更新的文章到公眾號上，但是要是自己去找的話就會很麻煩，所以就想了一個辦法，寫了一個爬蟲，每天自動運行一次，把網站上更新的內容存在資料庫里，每周在把資料庫里這周加入的內容發到郵箱里，這樣就可以減輕很多工作量了。
郵件的內容大概如下，我截了個圖：
所以說爬蟲是很有意思的呀，用好可以有很多的幫助，而且大多數情況會和其他的一起使用。
初級爬蟲誰都可以寫啊，不限於python，java，php，nodejs之類的，網上教程也不少。
有價值的不是爬蟲，是數據(有價值誰都會拚命保護)。如果你能高效、穩定、低成本的爬微博推特淘寶亞馬遜之類的商業網站數據，那年薪40w起步。
爬什麼, 怎麼賣錢很重要, 如何爬不重要
因為說「做爬蟲」不專業。往工具本身來說，可以說做演算法，做優化，做分散式…往目的來說，可以說做數據分析，存儲，測試，機器學習…單純說做爬蟲，是沒有出路的，這是層次問題。
教程多不代表什麼,做爬蟲的少,是你表現上看到的.
反爬真的是沒卵用的東西.
爬蟲屬於典型的易學難精的東西是個人學兩天py就會了，但要做成真正適用企業級的非常非常難，絕大多數人並不是真的要精通py，只是為了讓別人知道他會
做爬蟲的只會越來越多
現在是大數據的時代
做數據分析的數據從哪來？
還是需要爬蟲工程師來爬的
慢慢的趨勢會越來越明顯，需求也會越來越多
對大多數人寫爬蟲，不如坐下來好好學學http協議，寫個簡單的http client實現，收穫要大的多。
爬蟲入門簡單唄，你讓他講講難點的像破驗證碼，多線程多進程以及並發協程什麼的他講的出來么？
個人認為簡單爬蟲對於那些從來沒碰過編程但想轉行的人來說，最友好的小小小項目了。這種成就感會促進學習者更進一步的學習新的知識。但也別太自滿。學會網上的爬蟲教程真的是你轉行的一小步。
套用老魏的話，import 但凡會一點的都會import ，但是自己去定義一個蟲子，那一定是從頭學過的
