你的牛逼我用不到

剛才面試了個爬蟲工程師，很牛逼的簡歷：

熟練使用Mysql，Redis，Mongo資料庫、熟悉Hadoop基礎架構、MapReduce編程模型、Hive數據倉庫、HBase資料庫、Kafka分散式消息隊列和Spark實時處理框架了解TCP/IP、HTTP等常用互聯網協議、了解Spring，SpringMVC和MyBatis框架。

問題是，這和我有一毛錢關係嘛？我們這邊有專門的hadoop工程師——不屬於我的部門，我也不需要招hadoop工程師。會spring又怎麼樣？我們這裡有專門的java工程師。

我只想要一個爬蟲工程師！

熟練使用Scrapy和Webmagic開源爬蟲框架二次開發

連scrapy深度優先還是廣度優先都不知道的傢伙。

Does Scrapy crawl in breadth-first or depth-first order?

By default, Scrapy uses a LIFO queue for storing pending requests, which basically means that it crawls in DFO order. This order is more convenient in most cases. If you do want to crawl in true BFO order, you can do it by setting the following settings:

DEPTH_PRIORITY = 1

我評價工資，只是根據我需要的那部分的能力和經驗。如果一個工作了10年的java工程師，只有1年爬蟲經驗，那我也按照一年經驗來算——我只要爬蟲工程師啊，你java或者別的再牛逼，我用不到啊。我為什麼要為自己用不到的東西付錢？！

推薦閱讀：