Docker(六)：Docker 三劍客之 Docker Swarm

來自專欄微笑很純潔

實踐中會發現，生產環境中使用單個 Docker 節點是遠遠不夠的，搭建 Docker 集群勢在必行。然而，面對 Kubernetes, Mesos 以及 Swarm 等眾多容器集群系統，我們該如何選擇呢？它們之中，Swarm 是 Docker 原生的，同時也是最簡單，最易學，最節省資源的，比較適合中小型公司使用。

Docker Swarm 介紹

Swarm 在 Docker 1.12 版本之前屬於一個獨立的項目，在 Docker 1.12 版本發布之後，該項目合併到了 Docker 中，成為 Docker 的一個子命令。目前，Swarm 是 Docker 社區提供的唯一一個原生支持 Docker 集群管理的工具。它可以把多個 Docker 主機組成的系統轉換為單一的虛擬 Docker 主機，使得容器可以組成跨主機的子網網路。

Docker Swarm 是一個為 IT 運維團隊提供集群和調度能力的編排工具。用戶可以把集群中所有 Docker Engine 整合進一個「虛擬 Engine」的資源池，通過執行命令與單一的主 Swarm 進行溝通，而不必分別和每個 Docker Engine 溝通。在靈活的調度策略下，IT 團隊可以更好地管理可用的主機資源，保證應用容器的高效運行。

Docker Swarm 優點

任何規模都有高性能表現

對於企業級的 Docker Engine 集群和容器調度而言，可拓展性是關鍵。任何規模的公司——不論是擁有五個還是上千個伺服器——都能在其環境下有效使用 Swarm。 經過測試，Swarm 可拓展性的極限是在 1000 個節點上運行 50000 個部署容器，每個容器的啟動時間為亞秒級，同時性能無減損。

靈活的容器調度

Swarm 幫助 IT 運維團隊在有限條件下將性能表現和資源利用最優化。Swarm 的內置調度器（scheduler）支持多種過濾器，包括：節點標籤，親和性和多種容器部策略如 binpack、spread、random 等等。

服務的持續可用性

Docker Swarm 由 Swarm Manager 提供高可用性，通過創建多個 Swarm master 節點和制定主 master 節點宕機時的備選策略。如果一個 master 節點宕機，那麼一個 slave 節點就會被升格為 master 節點，直到原來的 master 節點恢復正常。 此外，如果某個節點無法加入集群，Swarm 會繼續嘗試加入，並提供錯誤警報和日誌。在節點出錯時，Swarm 現在可以嘗試把容器重新調度到正常的節點上去。

和 Docker API 及整合支持的兼容性 Swarm 對 Docker API 完全支持，這意味著它能為使用不同 Docker 工具（如 Docker CLI，Compose，Trusted Registry，Hub 和 UCP）的用戶提供無縫銜接的使用體驗。

Docker Swarm 為 Docker 化應用的核心功能（諸如多主機網路和存儲卷管理）提供原生支持。開發的 Compose 文件能（通過 docker-compose up ）輕易地部署到測試伺服器或 Swarm 集群上。Docker Swarm 還可以從 Docker Trusted Registry 或 Hub 里 pull 並 run 鏡像。

綜上所述，Docker Swarm 提供了一套高可用 Docker 集群管理的解決方案，完全支持標準的 Docker API，方便管理調度集群 Docker 容器，合理充分利用集群主機資源。

** 並非所有服務都應該部署在Swarm集群內。資料庫以及其它有狀態服務就不適合部署在Swarm集群內。**

相關概念

節點

運行 Docker 的主機可以主動初始化一個 Swarm 集群或者加入一個已存在的 Swarm 集群，這樣這個運行 Docker 的主機就成為一個 Swarm 集群的節點 (node) 。節點分為管理 (manager) 節點和工作 (worker) 節點。

管理節點用於 Swarm 集群的管理，docker swarm 命令基本只能在管理節點執行（節點退出集群命令 docker swarm leave 可以在工作節點執行）。一個 Swarm 集群可以有多個管理節點，但只有一個管理節點可以成為 leader，leader 通過 raft 協議實現。

工作節點是任務執行節點，管理節點將服務 (service) 下發至工作節點執行。管理節點默認也作為工作節點。你也可以通過配置讓服務只運行在管理節點。下圖展示了集群中管理節點與工作節點的關係。

服務和任務

任務 （Task）是 Swarm 中的最小的調度單位，目前來說就是一個單一的容器。 服務 （Services） 是指一組任務的集合，服務定義了任務的屬性。服務有兩種模式：

• replicated services 按照一定規則在各個工作節點上運行指定個數的任務。
• global services 每個工作節點上運行一個任務

兩種模式通過 docker service create 的 –mode 參數指定。下圖展示了容器、任務、服務的關係。

創建 Swarm 集群

我們知道 Swarm 集群由管理節點和工作節點組成。我們來創建一個包含一個管理節點和兩個工作節點的最小 Swarm 集群。

初始化集群

查看虛擬主機，現在沒有

docker-machine lsNAME ACTIVE DRIVER STATE URL SWARM DOCKER ERRORS

使用 virtualbox 創建管理節點

docker-machine create --driver virtualbox manager1#進入管理節點docker-machine ssh manager1

執行 sudo -i 可以進入Root 許可權

我們使用 docker swarm init 在 manager1 初始化一個 Swarm 集群。

docker@manager1:~$ docker swarm init --advertise-addr 192.168.99.100Swarm initialized: current node (j0o7sykkvi86xpc00w71ew5b6) is now a manager.To add a worker to this swarm, run the following command: docker swarm join --token SWMTKN-1-47z6jld2o465z30dl7pie2kqe4oyug4fxdtbgkfjqgybsy4esl-8r55lxhxs7ozfil45gedd5b8a 192.168.99.100:2377To add a manager to this swarm, run docker swarm join-token manager and follow the instructions.

如果你的 Docker 主機有多個網卡，擁有多個 IP，必須使用 –advertise-addr 指定 IP。 執行 docker swarm init 命令的節點自動成為管理節點。

命令 docker info 可以查看 swarm 集群狀態:

Containers: 0Running: 0Paused: 0Stopped: 0 ...snip...Swarm: active NodeID: dxn1zf6l61qsb1josjja83ngz Is Manager: true Managers: 1 Nodes: 1 ...snip...

命令 docker node ls 可以查看集群節點信息:

docker@manager1:~$ docker node lsID HOSTNAME STATUS AVAILABILITY MANAGER STATUS1ipck4z2uuwf11f4b9mnon2ul * manager1 Ready Active Leader

退出虛擬主機

docker@manager1:~$ exit

增加工作節點

上一步初始化了一個 Swarm 集群，擁有了一個管理節點，在 Docker Machine 一節中我們了解到 Docker Machine 可以在數秒內創建一個虛擬的 Docker 主機，下面我們使用它來創建兩個 Docker 主機，並加入到集群中。

創建虛擬主機 worker1

創建主機

$ docker-machine create -d virtualbox worker1

進入虛擬主機 worker1

$ docker-machine ssh worker1

加入 swarm 集群

docker@worker1:~$ docker swarm join --token SWMTKN-1-47z6jld2o465z30dl7pie2kqe4oyug4fxdtbgkfjqgybsy4esl-8r55lxhxs7ozfil45gedd5b8a 192.168.99.100:2377This node joined a swarm as a worker.

退出虛擬主機

docker@worker1:~$ exit

創建虛擬主機 worker2

創建

$ docker-machine create -d virtualbox worker2

入虛擬主機worker2

$ docker-machine ssh worker2

加入 swarm 集群

docker@worker2:~$ docker swarm join --token SWMTKN-1-47z6jld2o465z30dl7pie2kqe4oyug4fxdtbgkfjqgybsy4esl-8r55lxhxs7ozfil45gedd5b8a 192.168.99.100:2377This node joined a swarm as a worker.

退出虛擬主機

docker@worker2:~$ exit

兩個工作節點添加完成

查看集群

進入管理節點：

docker-machine ssh manager1

宿主機子上查看虛擬主機

docker@manager1:~$ docker-machine lsNAME ACTIVE DRIVER STATE URL SWARM DOCKER ERRORSmanager1 * virtualbox Running tcp://192.168.99.100:2376 v17.12.1-ceworker1 - virtualbox Running tcp://192.168.99.101:2376 v17.12.1-ceworker2 - virtualbox Running tcp://192.168.99.102:2376 v17.12.1-ce

在主節點上面執行 docker node ls 查詢集群主機信息

docker@manager1:~$ docker node lsID HOSTNAME STATUS AVAILABILITY MANAGER STATUS1ipck4z2uuwf11f4b9mnon2ul * manager1 Ready Active Leaderrtcpqgcn2gytnvufwfveukgrv worker1 Ready Activete2e9tr0qzbetjju5gyahg6f7 worker2 Ready Active

這樣我們就創建了一個最小的 Swarm 集群，包含一個管理節點和兩個工作節點。

部署服務

我們使用 docker service 命令來管理 Swarm 集群中的服務，該命令只能在管理節點運行。

新建服務

進入集群管理節點：

docker-machine ssh manager1

使用 docker 中國鏡像

docker search alpine docker pull registry.docker-cn.com/library/alpine

現在我們在上一節創建的 Swarm 集群中運行一個名為 helloworld 服務。

docker@manager1:~$ docker service create --replicas 1 --name helloworld alpine ping ityouknow.comrwpw7eij4v6h6716jvqvpxbyvoverall progress: 1 out of 1 tasks1/1: running [==================================================>]verify: Service converged

命令解釋：

• docker service create 命令創建一個服務
• --name 服務名稱命名為 helloworld
• --replicas 設置啟動的示例數
• alpine 指的是使用的鏡像名稱，ping ityouknow.com指的是容器運行的bash

使用命令 docker service ps rwpw7eij4v6h6716jvqvpxbyv 可以查看服務進展

docker@manager1:~$ docker service ps rwpw7eij4v6h6716jvqvpxbyvID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTSrgroe3s9qa53 helloworld.1 alpine:latest worker1 Running Running about a minute ago

使用 docker service ls 來查看當前 Swarm 集群運行的服務。

docker@manager1:~$ docker service lsID NAME MODE REPLICAS IMAGE PORTSyzfmyggfky8c helloworld replicated 0/1 alpine:latest

監控集群狀態

登錄管理節點 manager1

docker-machine ssh manager1

運行 docker service inspect --pretty <SERVICE-ID> 查詢服務概要狀態，以 helloworld 服務為例：

docker@manager1:~$ docker service inspect --pretty helloworldID: rwpw7eij4v6h6716jvqvpxbyvName: helloworldService Mode: Replicated Replicas: 1Placement:UpdateConfig: Parallelism: 1 On failure: pause Monitoring Period: 5s Max failure ratio: 0 ... Rollback order: stop-firstContainerSpec: Image: alpine:latest@sha256:7b848083f93822dd21b0a2f14a110bd99f6efb4b838d499df6d04a49d0debf8b Args: ping ityouknow.comResources:Endpoint Mode: vip

運行 docker service inspect helloworld 查詢服務詳細信息。

運行docker service ps <SERVICE-ID> 查看那個節點正在運行服務:

docker@manager1:~$ docker service ps helloworldNAME IMAGE NODE DESIRED STATE LAST STATEhelloworld.1.8p1vev3fq5zm0mi8g0as41w35 alpine worker1 Running Running 3 minutes

在工作節點查看任務的執行情況

docker-machine ssh worker1

在節點執行docker ps 查看容器的運行狀態。

docker@worker1:~$ docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES96bf5b1d8010 alpine:latest "ping ityouknow.com" 4 minutes ago Up 4 minutes helloworld.1.rgroe3s9qa53lf4u4ky0tzcb8

這樣的話，我們在 Swarm 集群中成功的運行了一個 helloworld 服務，根據命令可以看出在 worker1 節點上運行。

彈性伸縮實驗

我們來做一組實驗來感受 Swarm 強大的動態水平擴展特性，首先動態調整服務實例個數。

調整實例個數

增加或者減少服務的節點數

調整 helloworld 的服務實例數為2個

docker service update --replicas 2 helloworld

查看那個節點正在運行服務:

docker service ps helloworldID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTSrgroe3s9qa53 helloworld.1 alpine:latest manager1 Running Running 8 minutes agoa61nqrmfhyrl helloworld.2 alpine:latest worker2 Running Running 9 seconds ago

調整 helloworld 的服務實例數為1個

docker service update --replicas 1 helloworld

再次查看節點運行情況:

docker service ps helloworldID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTSa61nqrmfhyrl helloworld.2 alpine:latest worker2 Running Running about a minute ago

再次調整 helloworld 的服務實例數為3個

docker service update --replicas 3 helloworldhelloworldoverall progress: 3 out of 3 tasks1/3: running [==================================================>]2/3: running [==================================================>]3/3: running [==================================================>]verify: Service converged

查看節點運行情況：

docker@manager1:~$ docker service ps helloworldID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTSmh7ipjn74o0d helloworld.1 alpine:latest worker2 Running Running 40 seconds ago1w4p9okvz0xw helloworld.2 alpine:latest manager1 Running Running 2 minutes agosnqrbnh4k94y helloworld.3 alpine:latest worker1 Running Running 32 seconds ago

刪除集群服務

docker service rm helloworld

調整集群大小

動態調整 Swarm 集群的工作節點。

添加集群

創建虛擬主機 worker3

$ docker-machine create -d virtualbox worker3

入虛擬主機 worker3

$ docker-machine ssh worker3

加入swarm 集群

docker@worker3:~$ docker swarm join --token SWMTKN-1-47z6jld2o465z30dl7pie2kqe4oyug4fxdtbgkfjqgybsy4esl-8r55lxhxs7ozfil45gedd5b8a 192.168.99.100:2377This node joined a swarm as a worker.

退出虛擬主機

docker@worker3:~$exit

在主節點上面執行 docker node ls 查詢集群主機信息

登錄主節點

docker-machine ssh manager1

查看集群節點

docker@manager1:~$ docker node lsID HOSTNAME STATUS AVAILABILITY MANAGER STATUSj0o7sykkvi86xpc00w71ew5b6 * manager1 Ready Active Leaderxwv8aixasqraxwwpox0d0bp2i worker1 Ready Activeij3z1edgj7nsqvl8jgqelrfvy worker2 Ready Activei31yuluyqdboyl6aq8h9nk2t5 worker3 Ready Active

可以看出集群節點多了 worker3

退出 Swarm 集群

如果 Manager 想要退出 Swarm 集群， 在 Manager Node 上執行如下命令：

docker swarm leave

就可以退出集群，如果集群中還存在其它的 Worker Node，還希望 Manager 退出集群，則加上一個強制選項，命令行如下所示：

docker swarm leave --force

在 Worker2 上進行退出測試，登錄 worker2 節點

docker-machine ssh worker2

執行退出命令

docker swarm leave

查看集群節點情況：

docker@manager1:~$ docker node lsID HOSTNAME STATUS AVAILABILITY MANAGER STATUSj0o7sykkvi86xpc00w71ew5b6 * manager1 Ready Active Leaderxwv8aixasqraxwwpox0d0bp2i worker1 Ready Activeij3z1edgj7nsqvl8jgqelrfvy worker2 Down Activei31yuluyqdboyl6aq8h9nk2t5 worker3 Ready Active

可以看出集群節點 worker2 狀態已經下線

也可以再次加入

docker@worker2:~$ docker swarm join > --token SWMTKN-1-47z6jld2o465z30dl7pie2kqe4oyug4fxdtbgkfjqgybsy4esl-8r55lxhxs7ozfil45gedd5b8a > 192.168.99.100:2377This node joined a swarm as a worker.

再次查看

docker@manager1:~$ docker node lsID HOSTNAME STATUS AVAILABILITY MANAGER STATUSj0o7sykkvi86xpc00w71ew5b6 * manager1 Ready Active Leaderxwv8aixasqraxwwpox0d0bp2i worker1 Ready Active0agpph1vtylm421rhnx555kkc worker2 Ready Activeij3z1edgj7nsqvl8jgqelrfvy worker2 Down Activei31yuluyqdboyl6aq8h9nk2t5 worker3 Ready Active

可以看出集群節點 worker2 又重新加入到了集群中

重新搭建命令

使用 VirtualBox 做測試的時候，如果想重複實驗可以將實驗節點刪掉再重來。

//停止虛擬機docker-machine stop [arg...] //一個或多個虛擬機名稱docker-machine stop manager1 worker1 worker2//移除虛擬機docker-machine rm [OPTIONS] [arg...]docker-machine rm manager1 worker1 worker2

停止、刪除虛擬主機後，再重新創建即可。

總結

通過對 Swarm 的學習，強烈感覺到自動化水平擴展的魅力，這樣在公司流量爆發的時候，只需要執行一個命令就可以完成實例上線。如果再根據公司的業務流量做自動化控制，那就真正實現了完全自動的動態伸縮。

舉個例子，我們可以利用腳本監控公司的業務流量，當流量是某個級別的時候我們啟動對應的N個節點數，當流量減少的時候我們也動態的減少服務實例個數，既可以節省公司資源，也不用操心業務爆發被流量擊垮。Docker 能發展的這麼好還是有原因的，容器化是 DevOps 最重要的一個環節，未來容器化的技術會越來越豐富和完善，智能化運維可期待。

參考

Getting started with swarm mode Docker — 從入門到實踐 關於Docker Swarm的用途詳細介紹