機器學習：雲端訓練模型的大數據解決方案

如果電腦裝不下那麼多訓練數據，或者訓練的過程需要耗費數小時，我們該怎麼辦？當然是選用雲計算啦！

這是一個系列視頻/文章 「AI Adventures」中的第七篇，由 Google 的開發技術推廣工程師 Yufeng Guo 主講，用通俗易懂的語言幫助你了解人工智慧和機器學習。在這一系列視頻/文章中，我們將一起探秘人工智慧的世界，共同品味藝術、探索科學以及掌握機器學習的工具。

第一篇：機器學習是什麼？

第二篇：機器學習「七步走」

第三篇：用評估器給花卉分類

第四篇：彈性伸縮的雲端託管服務

第五篇：通過 TensorBoard 將模型可視化

第六篇：通過深度神經網路再識評估器

所有的內容和視頻都會首發在「機智如你」專欄，目標是發布最新與谷歌相關的機器學習、TensorFlow 相關內容，如果你有任何問題，也歡迎在留言區向我們提出反饋

當你的數據量大到不適合在本機上訓練或是硬碟已經裝不下數據時，是時候找可替代的訓練方式了。

全看雲端

一種可靠的方式是切換到另一台數據容量更大的設備上進行，這樣一來，訓練時你的電腦就能空閑出來做別的事情。

我們試著分解著看看哪些部分需要遷移到雲端。把模型訓練任務拆分成計算能力和存儲容量兩種主要資源來理解對我們的工作而言甚是有益。

有趣的是，與你一開始的預期不同，我們不會將這兩種資源緊緊捆綁在一起，相反，我們會將兩者分離以分別應用專門的處理系統。這種方式會在應對大數據時更具處理規模方面的效率。

算力負載遷移甚是簡單，可大型數據集的遷移並不是輕而易舉的。不過如果數據真的很多，由於雲計算可以讓多設備並行使用數據來進行機器學習的訓練工作，故而這些轉移數據的付出還是值得的。

把數據遷移到雲

Google Cloud Platform 提供了不少應對這些抽象層次的簡便辦法。首要任務是確保數據都存儲在 Google Cloud Storage (GCS) 當中。下面列舉幾個工具：

▍gsutil

gsutil 適合小到中型的數據集。這是一個專用於同 Google Cloud Storage 交互的命令行工具，並支持 -m 參數來並行傳輸多個數據流以加速傳輸。

▍Google Transfer Appliance

如果數據大且多到不再適合用網路傳輸，試試 Google Transfer Appliance 吧。這是一個專門用來安全將多達 1 PB 的數據安全遞送到數據中心的硬體工具。

假如用常見的 100M 網路來傳輸這 1PB 的數據，需要約 3 年時間才能傳完！即使是 1G 的帶寬也要耗費將近 4 個月！誰等得了那麼久啊？Transfer Appliance 能夠在短短 25 小時 小時內將整整 1PB 的數據裝入數據中心，真是快得難以置信。

下一步

現在數據都放到雲端了，接下來只需真正大規模處理機器學習的訓練工作了。但這又是一整個複雜的話題，我們不妨在下一期來分享。

在有限的算力和存儲條件下完成大量數據的訓練工作顯得十分困難，但我們可以避開這種劣勢。有了 gstuil 或是 Google Transfer Appliance，我們把數據快速遷移到雲端，也就能夠暢通無阻訓練有大型數據集的模型了。

感謝閱讀本期 Cloud AI Adventures。如果你喜歡，請給文章點個贊，或者關注專欄，這樣將來的更新你就不會錯過了。精彩仍將繼續！

最後，請一定記住：當你需要應付大量的數據時，遷移到雲平台吧！

▏原文出處：Medium - Big data for training models in the cloud

▏封面來源：YouTube 視頻縮略圖

▏視頻出處：YouTube - Big data for training models in the cloud

▏字幕翻譯：谷創字幕組

▏文章編輯： @楊棟