爬蟲能做一輩子嗎？

最近有個知乎的朋友問我，爬蟲的下一個階段就一定要轉到數據挖掘相關的事情嗎？

之前我說了一個現象，我面試過的人大部分對自己的職業規劃都是往數據挖掘走。確實大部分人覺得爬蟲只是一個跳板，因為好的公司數據挖掘招聘非常嚴格，對於基礎演算法，模型，數學能力要求比較高，有些人就曲線救國。

今天這個朋友的問題讓我想分享下我認識的做爬蟲的朋友最後除開轉到數據挖掘還有那些路可以走。

1. 爬蟲相關服務業：做IP代理服務，因為爬蟲經常被封，動態IP需求很旺盛，所以有些做爬蟲的朋友就去做動態IP代理了。 n現在市場上的玩家還很小，不過需求很旺盛，比如說阿里，華為都是他們的客戶。

2. n往後台開發轉，一個爬蟲其實不難，難的是怎麼維護一個大項爬蟲系統。然後有些朋友就在系統構架上越走越遠。其實和任何一個系統一樣，最後成為了架構師。

3. 往黑客走，如果你用python做爬蟲，都沒有語言轉換成本。

4. 繼續做爬蟲，不過把爬蟲的定義擴大到 各種APP反編譯，詭異網站，各種蛋疼驗證碼等等。。 n

其實我覺得爬蟲這個工作是不會消亡的，後台開發是有可能消亡的。

為什麼這麼說：1。 爬蟲是種對抗性的職業，反爬蟲，反反爬蟲等等。。無窮無盡和對方的前端工程師過招（有些公司是後端）。2. 數據只會越來越貴。 3. 做數據挖掘的人會越來越多，進一步增加了對數據的需求。

後台開發呢。。只從我知道了後端雲之類的，非關係型雲資料庫。我就感覺到 大部分後台工程師，可能以後會面臨現在運維的命運。 當然他們不會失業，換個工具做其他編程的事情就是。