國內哪些互聯網公司在用mesos，哪些互聯網公司在用yarn，兩者前景如何？

01-22

mesos和yarn，個人覺得，mesos基於cpp，直接和硬體打交道，資源管理應該會比yarn來的更精確，但是yarn的生態較好，現在國內公司對兩者的使用情況是什麼樣的？

目前只知道豆瓣一直在用Mesos，其他聽到的案例都是在用YARN，主要原因也還是覺得生態更好些吧。

我微信公眾號的文章，鏈接是：Mesos：一個開源的分散式彈性資源管理系統

歡迎大家關注（hadoop-123）：

http://weixin.qq.com/r/rHVvdwXEYFgfrUEU9yC_ (二維碼自動識別)

Mesos是一個開源的資源管理系統，可以對集群中的資源做彈性管理，目前twitter, apple等公司在大量使用mesos管理集群資源，大家記得apple的siri嗎，它的後端便是採用的mesos進行資源管理（自行在網上查找文章：「新一代Siri後端將採用開放源代碼平台Mesos」）。國內也有零零散散的公司在使用mesos，比如豆瓣。

Mesos是高仿google內部的資源管理系統borg（論文已經發表）實現的，隨著近期它對docker容器支持的越來越好，將備受關注。（註：Mesosphere，一家試圖圍繞 Apache Mesos 項目開展商業活動的公司，不久前從 Andreessen Horowitz 那裡獲得了 1000 萬美元投資。他做的事情就是用開源方案實現一個borg，選用的技術棧是：mesos+docker）。

談到資源管理系統，更多人一下子想到的是Hadoop生態系統中的YARN，如何看待它與mesos的關係。
目前看來，Hadoop YARN要比Mesos更主流，前景更廣闊。YARN在實現資源管理的系統前提下，能夠跟hadoop生態系統完美結合，在YARN的東家hortonworks看來，YARN定位為大數據中的數據操作系統，能夠更好地為上層各類應用程序（MapReduce/Spark）提供資源管理和調度功能。另外，非常重要的一點，YARN的社區力量要比Mesos強大的多，它的參與人員眾多，周邊系統的建設非常完善（包括最新誕生的apache二級項目Twill，Apache Twill，cloudera的Kitten，均是方便大家使用YARN而誕生的項目）。

YARN是從MapReduce中演化而來的，因而在大數據處理中扮演重要角色，但這也使得它受限：它現在還不能看做是一個通用的資源管理系統，太多的內部實現過於狹隘，比如資源申請和分配模型，對長服務的支持等。不過，YARN自己仍把它定位在通用資源管理系統上，因而在不斷改進，比如最近的版本中，增加了對長服務和docker的支持。

下面是Meos和YARN的對比：

總結

目前Mesos和YARN的優勢還是稍有不同的，YARN更多地是用在大數據平台中，對上層計算框架支持的非常好；而Mesos更多是定位在資源的抽象和管理上，以便支持各種應用，不僅僅是計算框架。不過，隨著兩者的不斷完善，他們之間的界限越來越模糊。

據我所知，目前國內使用Mesos有如下公司：

小米

噹噹

豆瓣

去哪兒

攜程

唯品會

知乎

新浪微博

愛奇藝

七牛

UCloud

唯品會

bilibili

中國聯通

中國移動

中國電信

華為

數人云

...

國外更多。詳細列表參考https://github.com/apache/mesos/blob/master/docs/powered-by-mesos.md

中大型公司會更傾向於使用Mesos，因為本身公司有一定的開發能力，Mesos提供了良好的API而且有非常多成熟的Framework跑在Mesos上可以作為參考 dharmeshkakadia/awesome-mesos

當然不是指創業公司Mesos就用不來了，Mesos + Marathon/Aurora正常情況可以滿足絕大部分需求，只需要寫JSON或者DSL定義好service/application就好。只有一些特殊情況才確實需要寫自己的Framework

國內愛奇藝用的應該是mesos

做企業發行版的是數人科技

國外用的就多了twitter,airbnb,蘋果的siri等

做企業發行版的自然是mesosphere了

Mesos C++寫的，YARN是java寫的；

YARN和hadoop是一套，使用hdfs後採用yarn是廣泛被使用的。

yarn的有安全認證以及加密rpc連接，而mesos目前只有認證，不支持kerberos，沒有傳輸加密。

上招聘網站上面搜一下關鍵詞就知道了

感覺前景還不錯吧，國外有一些大廠的case

http://mesos.apache.org/documentation/latest/powered-by-mesos/

貌似愛qiyi 是用的Mesos

mesos更成熟，yarn更有前景

阿里，騰訊都在用yarn