Aspera技術如何實現原來需要傳26小時的24GB文檔做到只需30秒？

01-12

IBM將收購大文件傳輸技術公司Aspera 布局大數據
Aspera的技術能讓較大規模的文檔數據以較快速率傳輸——如通常需要26小時將一份體積為24GB的文檔傳輸至世界的另一端，而Aspera能做到只需30秒。Aspera將其技術命名為fasp，旨在解決當前寬頻網路的瓶頸問題。Aspera當前客戶也包括了視頻服務商，如Netflix和環球影業等。
感覺匪夷所思……

Aspera軟體以最快速度傳輸全球數據，不受文件大小、傳輸距離或網路條件的影響。解決方案的核心是 fasp傳輸專利技術，它是一項突破性傳輸協議，充分利用現有的 WAN 基礎設施和通用硬體，傳輸速度比 FTP 和 HTTP 快達數百倍。

Aspera是基於純軟體的加速方案

無需變動原有的網路架構
安全、高度可擴展性
支持使用Web界面、客戶端、命令行以及API進行傳輸
支持PC、移動設備、MAC、Linux等任何設備
支持向S3等雲存儲傳輸數據
支持自動同步數據、多向文件複製
自動化集中管理傳輸伺服器

TCP及替代技術的挑戰

距離對網路影響

延遲增加
丟包率增加
快速網路隨著距離增加而降低服務質量

TCP性能隨距離增加而降低

吞吐量的瓶頸隨時延及丟包率的增加而更加明顯

TCP的吞吐量沒有隨著帶寬的擴展而擴展

TCP的最初設計目的是適應低帶寬
增加更多的帶寬不會提高吞吐量

替代技術

基於TCP - 網路延遲及丟包率必須低
UDP - 帶寬利用率比較低
數據緩衝 - 不適用於大量大文件的傳輸及工作流
優化的TCP - 提高了性能，但對於快速網路而言效率還是比較低下
數據壓縮 - 對於特定文件，時間消耗及傳輸效率不受影響
CDNs - overhead高，擴展成本非常昂貴

Aspera高性能傳輸

最大速度的傳輸

端到端的傳輸效率及吞吐量優化
傳輸性能與帶寬成正比，與傳輸距離無關，丟包率影響甚微

無語倫比的帶寬管理功能

公平共享策略：自動地充分利用可用的帶寬資源
高優先順序策略：實時動態地分配優先順序及帶寬

安全與可靠性

以安全的方式實現用戶及終端的認證
AES-128加密演算法，適用於傳輸過程中加密及落地加密

可擴展的管理、監控、控制

實時地查看傳輸進度、性能、帶寬使用率
詳細的傳輸歷史記錄、日誌

非常低的Overhead

在30%丟包率的情況下，具備少於0.1%的overhead
高性能傳輸單個大文件及大量小文件

Aspera傳輸的優越性

TCP傳輸時間受制於丟包率、時延（網路距離）而不是帶寬

Aspera傳輸時間隨著帶寬的增加而直線增加，與丟包率、時延無關

作為傳輸領域內部人員回答。

我認為30秒傳輸24GB只是一種宣傳性的說法，事實上不可能完全依靠軟體手段來實現。

我們可以計算一下，24GB用30秒，每秒傳輸數據0.8GB，按照100%的帶寬利用率，得出的帶寬指標為0.8×8=6.4Gbps，也就是目前千兆網的6倍左右，還是要在幾乎0丟包0時延的情況下。這是一個不可逾越的條件。

對於性能的對比只有在同樣的環境下才有意義。所以，相應的，如果是在同樣的帶寬下，用26小時傳輸24GB，每秒傳輸數據24GB/（26×3600秒）=268KB/s，帶寬利用率是268KB/0.8GB，大約是萬分之三，幾乎是沒有速度了。所以一定存在超高的時延或丟包，才會出現這種情況。

所以，二者比較的結論是不能吻合，從技術角度來看，是不大現實的。這個比較的結論一定是在有網路或設備條件差異的情況下得出的，不可信。

當然，Aspera的傳輸效率還是有一定優勢的，這一點必須承認，只是沒有文中講的那麼誇張。

國內也有類似產品，比如我們的飛馳傳輸，有興趣的可以關注。飛馳傳輸 Ftrans

這句話來自aspera網站關於華大基因的一個pdf文檔里：results：transferred 24Gigabytes of genomic data from Beijing to California in under 30 seconds.同時文檔也說了另外一條：...,fully utilizing BGI"s 10 Gbps of available bandwidth while remaining fair to all other network traffic.

華大基因北京的帶寬是10Gbps，估計是科技專網(cstnet），每秒傳輸速度最高能做到1.25GB的，24GB的基因數據理論上，是可以做到的。加州的帶寬也要求很寬，事實上美國的能源科學網（esnet）也要相當高，2015年中美科研這塊都做到了萬兆。離開這個條件，是無法實現30s的。這裡的26小時，是很虛的。即使不用aspera加速，應該不會要26小時。

我也疑惑，覺得像網盤瞬間傳一樣。等有了消息在更新。

我也在查找相關的資料，根據我在Google上找到的信息，「the biz reveals fasp " transfers use TCP port for session initialization and control, and one UDP port for data transfer"」這個信息足以說明很多問題了