解碼2017雙11:全球狂歡新記錄背後的阿里雲存儲

02-02

阿里雲存儲支撐雙11新記錄

2017天貓雙11全球狂歡節，全天成交額再次刷新紀錄達到1682億元，全天支付總筆數達到14.8億，全天物流訂單達8.12億，全球225個國家和地區的消費者參加。新零售能量全面爆發，全球超100萬商家線上、線下打通，近10萬智慧門店、超50萬零售小店參與「全球共振」。

這背後是大數據的支撐和阿里雲計算的能力的體現。手淘、天貓APP主站的所有圖片和視頻都存儲在阿里雲對象存儲OSS之上，全球數以億計的消費者，對這些商品的訪問的流量和並發次數，比成交筆數高得高。正是阿里雲存儲多年技術積累的整個鏈路低延遲和高穩定性，支撐天貓雙11的流暢體驗。

阿里雲存儲有著最豐富的存儲產品，從前期技術平台構建、當天全球狂歡節支撐、後期數據沉澱分析，全面支撐雙11，為客戶帶來更個性、更流暢、更豐富的體驗。

支撐海量互聯網應用的對象存儲OSS

2017年天貓雙11全球狂歡節，超過14萬個明顯品牌，1500萬種商品參加。同時，全球超100萬商家線上、線下打通，近10萬智慧門店、超50萬零售小店，參與新零售新形態購物狂歡。在購物交互上，雙11採用VR/AR、視頻直播點播等豐富的新形式。

2017年天貓雙11,所有商品的詳情頁、商品展示和評論圖片和視頻、VR/AR活動頁圖片視頻素材，100%地存儲在OSS上。而這些海量的網頁、圖片、視頻，吸引了全球消費的訪問。

OSS的全稱是Object Storage Service，提供簡單的網路訪問介面（RESTful API），可以隨時從網路上的任何位置，任何時間，來讀寫任意數量的數據。同時OSS是一個全託管的服務，提供安全、容量和性能的擴展性，容災等服務能力，使得用戶可以聚焦在自己的應用邏輯上面。

OSS支撐雙11的技術能力

面向互聯網的設計

OSS支撐了2017天貓雙11，來自全世界各地超過225個國家和地區的消費者，通過各種終端、各種操作系統、各種運營商網路，查看其心儀的商品圖片和視頻、參與雙11的互動。

OSS面向互聯網設計，與訪問終端、平台無關，天生適合互聯網應用。互聯網上的設備，雲上的伺服器，Web瀏覽器以及分散在世界各地的CDN節點都可以通過OSS對外的HTTP/HTTPS的訪問介面來寫入，讀取和操作自己的數據。

OSS憑藉面向互聯網的訪問便利性、穩定可靠的存儲服務，已經應用在國內外主流互聯網應用，如互動直播、在線視頻、電商APP、遊戲應用、基因計算等。而新浪微博，映客，億方雲，華大基因，安諾優達，努比亞手機等知名企業也紛紛採用阿里雲OSS作為數據的存儲。

海量存儲能力

OSS支持EB級別容量和萬億級別文件數的線性擴展能力，支持日益增大的數據存儲空間和數量的需求。EB級的容量，形象一點就是一部高清電影大概是5GB，那麼1EB就相當於是兩億部電影。萬億級別文件數的線性擴展能力，這就超越了傳統情況下大家對於文件系統的認識，並且文件訪問的性能不會因為文件數量的增加而產生任何影響。

天貓雙11數千萬商品的網頁、圖片、視頻等數據存儲，要求存儲空間、文件數量要求非常大。而除了這些產品，淘寶、天貓其他所有商品以及主站所有圖片、視頻的容量、文件數更加龐大，而這些也都是存儲在OSS上。

高性能的全球化服務

今年天貓雙11交易峰值32.5萬筆/秒，支付峰值25.6萬筆/秒。而存儲在OSS的商品頁面、商品展示、經歷的流量和訪問次數就比這個數字要高百倍以上了。而這些網頁、商品展示和評論的圖片、視頻都存在OSS。

阿里雲對象存儲OSS依託高性能的阿里雲數據中心網路，軟體棧方面的大量優化，提供全球可達的高帶寬低延遲的訪問。

憑藉全球化的產品服務布局，以及3+N的多線BGP接入能力和穩定出色的系統訪問延遲，OSS受到了像新浪微博，映客，陌陌等大型移動互聯網APP的青睞，將作為OSS源站向全世界提供服務。

高安全性

電商的交易信息、商家的商品實拍圖片等數據，和很多業務系統一樣，都需要考慮安全性，進行許可權分級管控，並防止盜鏈、DNS劫持等，而OSS很好地提供了這些問題的解決方案。

OSS提供豐富和強大的數據安全能力：

訪問控制：安全靈活的授權訪問控制機制，支持Bucket/Object級別的細顆粒度的授權策略。
訪問來源：提供防盜鏈、IP白名單、VPC網路等安全穩定的互聯網或者專有網路的訪問能力。
系統級安全：阿里雲全面的安全合規保障以及豐富的安全產品，給整個業務系統安全保障
訪問日誌：提供訪問日誌，可方便地審核、分析訪問信息。
加密存儲：提供多種數據加密持久化解決方案
傳輸加密：對內網、外網、VPC專有網路都全面支持https協議，保障傳輸安全

高可靠性

雙11的電商、交易、支付、物流系統的數據，對於可靠性都有非常嚴苛的要求。而OSS基於阿里雲存儲的技術積累提供至少10個9（11個9如果是多可用區）的可靠性和完整性保障。

數據高可靠性：
每一份數據成功地寫入三副本（來自不同的可用區，或不同的機架）後才返回。而且自動巡檢系統不停地檢測不可用的副本，一旦出現，自動地及時複製，使得每一份數據任何時刻至少有2個及以上的副本，提供至少10個9（11個9如果是多可用區）的可靠性。
數據完整性：
OSS也提供端到端的基於MD5、CRC64的數據校驗的功能。
異地容災：
OSS提供了跨區域複製功能，用戶通過簡單的設置，即可自動地實現數據異地容災備份。

OSS底層基於世界領先的阿里雲統一存儲平台——盤古

盤古文件系統在生產系統中採用跨多可用區部署的方式，經典的模式是支持橫跨三個可用區，每個可用區距離30公里到50公里。無論是三副本還是EC（糾刪碼）副本，都是均勻分布在三個可用區內。

任何一次寫入都在三個可用區數據落盤後才會返回客戶成功。由於各可用區的數據中心有獨立的供電，網路和冷卻系統等，跨多可用區的存儲提供了數據中心級別的容災能力，在任一可用區完全不服務的情況下，整體服務無縫切換，數據無任何丟失。

跨多可用區對阿里雲內部核心骨幹網路的要求非常極高，端到端的延遲要求在穩定1毫秒以內，並且有Tb級別帶寬能力。阿里雲投入了大量的資源來建設高容錯能力和高性能的多可用區互訪的內部核心骨幹網路。

OSS不僅是「存儲」

阿里雲對象存儲OSS不僅是「存儲」，依託高性能的阿里雲數據中心網路，以及豐富的與開源計算系統和阿里雲自研的計算系統的集成，提供了方便，簡單，和經濟划算的數據分析和加工能力。

OSS豐富的計算生態

OSS是中國第一家也是唯一一家被官方Hadoop社區接納為預設的對象存儲文件系統；意味著全球所有的Hadoop生態的離線、交互、數據倉庫、深度學習等程序在不需要改代碼的情況下，自由讀寫OSS的對象存儲。
開源的分散式內存文件系統Alluxio原生支持OSS，讓存儲在Alluxio內存文件系統中的數據可以使用OSS來作為持久化存儲介質和數據交換平台。
阿里雲的E-MapReduce產品中的Hadoop組件也直接使用OSS作為存儲後端進行數據存取。
阿里雲的MaxCompute計算平台通過阿里雲內部Tb量級的網路通道，對OSS的數據進行分析和加工。
阿里雲的機器學習平台PAI，並行處理數據倉庫服務HybridDB等產品也都和OSS存儲聯通。

阿里雲不僅投入了大量的資源來建立高帶寬低延遲的數據中心物理網路，軟體棧方面，我們也進行了大量的優化：QoS的管理和支持，前後端流量的管理，最小化通信庫的軟體開銷，數據中心網路傳輸擁塞技術優化等。

通過豐富的計算和分析能力，一流的數據中心網路，以及高性能的數據訪問，OSS系統成為共享的數據湖，一份數據被多種計算系統共享，達到存儲與計算解耦的效果，使得資源的利用率最大化。

OSS的計算應用助力雙11點亮「人機協同」

OSS與Hadoop、Alluxio等開源生態、阿里雲的計算產品結合，讓數據產生價值。而天貓雙11機器智能的大規模應用也是一大技術亮點，今年的雙11成為人類歷史上最大規模的人機協同。

大量智能機器人組成的「新物種」軍團，已經滲透到此次天貓雙11全球狂歡節的各個角落，從挑選貨品、導購推薦、客服、設計海報、巡邏機房到管理倉庫……它們開始和人類一起，協同完成雙11的各項任務。

比如，基於阿里雲存儲OSS與阿里雲機器學習平台PAI，搭建的機器學習訓練預測平台，可以實現用戶購物習慣分析，進行精確地個性化商品推薦，做到「千人千面」，讓用戶在搶購時更節省時間、體驗更好。

不僅如此，在繁榮的多媒體行業的催生下，OSS在對象存儲的基礎上，發展了自己的特色API能力，通過提供一站式的圖片處理功能，RTMP協議支持，APPEND追加寫入等功能，形成了圖片社交解決方案，直播推流解決方案，短視頻解決方案，雲相冊解決方案，讓移動互聯網APP的開發周期大大縮短。

比如利用OSS的圖片存儲與處理方案，存儲在OSS上雙11的商品的圖片、視頻，可方便地進行圖片的縮放、加水印，以及將鑒黃等處理。

OSS全面覆蓋從熱到冷的存儲場景

當業務系統運行多年，會有很多不同「溫度」的數據。比如天貓雙11這幾年，每天都會產生海量的數據，這些數據根據生命周期、業務形態的不同，溫度也不同。有些是經常需要訪問分析、有些訪問頻度較低、有些幾乎不訪問主要是備份歸檔。

阿里雲對象存儲OSS提供標準（Standard），低頻（IA：Infrequent Access）和歸檔（Archive）三種存儲類型，全面覆蓋從熱到冷的各種數據存儲場景。作為OSS的特色:

提供了生命周期（Lifecycle）的自動管理，根據用戶設置的策略在不同類型之間進行自動轉化，節省用戶的存儲成本和管理成本。
統一的RESTful介面來訪問不同類型的OSS存儲，即使一個文件的存儲類型通過Lifecycle自動進行了改變，應用程序不需要修改。其他存儲廠商通常要求使用不同的介面來訪問不同的存儲類型。
歸檔存儲的解凍時間小於60秒，不同於其他存儲廠商需要若干小時。

高可用的海量結構化/半結構化數據存儲-表格存儲TableStore

海量結構化和半結構化數據則可以使用表格存儲。表格存儲在2011年開始在阿里巴巴內部使用，為阿里雲郵箱、大數據分析MaxCompute、雲OS等提供了海量元信息的存儲與實時訪問，每天承接著數百億次的API調用訪問。

2017年天貓雙11，全天支付總筆數達到14.8億，全天物流訂單達8.12億、包括商家客服與買家溝通的即時消息平台，生成大量的數據、並發請求，充分體現了表格存儲TableStore的高性能和穩定性。

表格存儲分散式共享存儲技術,單表可擴展到PB級、千萬級QPS

表格存儲底層使用了分散式共享存儲技術，通過自動分區Partitioning機制和特有的自動負載均衡Load Balance機制，在數據規模與訪問並發上具有極好的擴展性。單表可以在無人工介入的情況下輕鬆擴展至PB級數據量與千萬級QPS的訪問能力，其高並發低延時的特點也使表格存儲在2014年正式對外商業化之後迅速在社交、金融風控、電商交易、日誌監控、物聯網等行業獲得了大量用戶的青睞。

高性能與容量型應對不同的應用需求

針對不同的應用需求特點，表格存儲提供了高性能與容量型兩種實例規格。對讀寫性能敏感的社交、遊戲、金融風控等場景可以使用高性能實例，高性能實例採用全SSD介質，在保證3份數據強一致性的情況下，提供個位數毫秒級的訪問延時。而容量型實例則採用特有的混合存儲介質，在不降低寫性能的情況下提供更具性價比的數據存儲及訪問成本，適用於日誌監控、物聯網時序數據存儲等對讀性能不敏感但對成本較為敏感的業務。

行業應用場景的優化

不僅如此，表格存儲針對特定的行業應用也推出了一些特有的功能，例如針對社交IM場景推出了主鍵自增列功能，去掉了IM系統中對第三方自增ID生成器的依賴，簡化IM系統的架構設計，大大提高了系統的響應並發。

自有的增量Stream功能，配合阿里雲的函數計算和阿里雲流式計算，能夠很好地同時滿足海量結構化數據的存儲與實時計算的需求。與MaxCompute、ADS以及Hive、Spark的數據打通，也真正兼顧了海量結構化數據的存儲與分析的應用場景。

向傳統與新興科技同時發起衝擊的新一代文件存儲NAS

天貓「雙11」應用了容器技術，應對業務的實際流量超過預想快速擴容的需求。而在Docker、HPC等全新應用的場景下，如何為計算節點提供高可靠，高彈性，高性能，多共享的文件系統已經成為NAS領域一個新的挑戰和趨勢。

而阿里雲共享文件存儲NAS，很好地解決了這些挑戰。相對於OSS在互聯網存儲上的流行，共享文件存儲NAS在傳統應用轉型上雲過程中發揮著巨大的作用。阿里雲選擇通過公共雲NAS的方式來推動非互聯網應用業務升級，數據上雲。

阿里雲NAS的新優勢

與傳統的NAS不同，阿里雲NAS：

既具備了數據高可靠、完整性、完全託管服務，面向容錯的設計和按量計費等雲存儲的特性；
線性擴展scaleout能力和豐富的安全控制和管理能力。
全球唯一一款雲上同時支持CIFS/SMB和NFS協議的雲上NAS系統，更好地滿足Windows和Linux的雲伺服器對高效共享文件存儲的需求。

高性能與容量型應對不同的應用需求

阿里雲NAS分為性能型和容量型兩種：

性能型NAS採用全SSD的介質，滿足I/O密集型應用的需求。
容量型NAS採用混合存儲的方式，寫路徑通過SSD，讀路徑從HDD，在不降低寫性能的前提下，提供經濟實效的 PB級共享文件存儲。

NASPlus面向行業應用的優化

同時，在2017年5月的成都雲棲大會上，阿里雲發布了行業性NAS Plus。

NAS Plus針對廣電行業並發路數多，順序寫性能要求高的特點，滿足製作系統高帶寬，低延遲，以及隨機讀性能要求高的要求，NAS Plus做了性能上的全鏈路優化，並且與合作廠商華棲雲進行了深度合作，在防火牆技術、Hardlink跨卷共享、智能拼接以及幀級共享，快速檢索等方面做了深度優化。在與企業中高端NAS的PK中，阿里雲的NAS系統全面超出。

NAS Plus不僅僅是針對廣電的定製化版本，而是開創了一種模式，與行業的深度整合能夠給客戶帶來數量級上的體驗改進。NAS Plus不僅僅可以用於廣電，也可以用於基因、渲染、機器學習等領域，並且能夠與行業的使用方法做深度的整合。

傳統IDC數據上雲的加速器-混合雲存儲

1小時內10萬台伺服器的快速擴容能力——雙11混合雲實踐

在2017天貓雙11創紀錄超大規模交易需求輕鬆應對的背後，阿里巴巴混合部署了在線計算、離線計算以及公共雲，構建了全球最大規模的混合雲，能實現1小時內10萬台伺服器的快速擴容並滿足金融級安全保障，支撐雙11買、賣、付、送各環節在雲上的順利進行，成為天貓雙11為世界貢獻的中國技術方案，更助力推動著中國商業和經濟的轉型升級。而背後支撐的技術方案中，就有阿里雲混合雲存儲方案。

混合雲存儲完善連接與傳輸能力

混合雲存儲的關鍵在於連接和傳輸，阿里雲針對連接，易用性和傳輸在2017年連續推出了一系列混合雲的產品組合，包括雲存儲網關，混合雲存儲陣列，備份服務，容災恢復服務，和閃電立方數據搬遷服務。

雲存儲網關是一款可以在線下和雲上部署的軟網關，以阿里雲上的OSS作為後端存儲，可在企業的內部IT環境和基於雲的存儲基礎設施之間提供無縫、安全的集成。雲存儲網關支持標準的NFS和CIFS協議，支持VMWare/KVM/HyperV環境部署，提供本地緩存模式，讓本地存儲與雲的鏈接具有更好的互操作性和性能。
混合雲陣列則是阿里雲混合雲存儲戰略的重中之重。混合雲陣列讓您可以像本地存儲一樣使用和管理本地和雲端的各種存儲資源（塊、文件和對象），本地存儲通過雲緩存、雲同步、雲分層、雲備份等方式無縫連通雲存儲。混合雲陣列不僅可以作為傳統存儲與雲的連接器，而且因為混合雲陣列的高穩定性和性能，支持雙控機頭的模式，在一些場景下也可以直接替代傳統存儲成為混合雲中的一級存儲。

備份和容災恢復服務是大量企業需求的混合雲存儲服務。雲存儲網關和混合雲陣列能夠幫助數據上雲，同時也能夠讓雲上和雲下形成災備機制。

當用戶在本地機房有PB量級的數據，需要在短時間內進行遷移時，離線數據搬遷能力顯得尤為重要，阿里雲推出的閃電立方產品，單台一次支持480TB的遷移能力，且可橫向拓展，利用多台設備可以同時遷移PB級別的數據，使得海量數據快速上雲成為可能。除了加速數據遷移的速度，整體費用與專線方式對比，也降低60%以上。

原文

更多技術乾貨敬請關注云棲社區知乎機構號：阿里云云棲社區 - 知乎