標籤：

MaxCompute Studio使用心得系列1——本地數據上傳下載

01-31

摘要： 通過MaxCompute Studio工具界面，輕鬆完成tunnel命令能完成的本地數據導入導出工作。打破大數據開發套件中本地數據文件導入10M的限制，和打破下載只能下載查詢結果最多10000行的限制。

原文鏈接：click.aliyun.com/m/4026

MaxCompute Studio已經發布好久，一直沒能好好體驗，近期MaxCompute Studio 陸續推出很多好用的功能，今天開始給大家分享使用心得。

用過大數據開發套件的同學，對於本地數據上傳下載，都會遇到這樣的問題：

  • 『導入本地數據』功能，限制本地數據文件大小最大為10MB；
  • 查詢結果導出本地時，由於select語句返回結果最大為10000行的限制，最多只能導出1W數據；
  • 數據導出本地文件的功能只有『查詢結果導出本地』。

要解決以上問題，通常都是需要自己安裝console客戶端，通過tunnel命令進行導入導出。

現在來分享使用MaxCompute Studio工具界面，可以更輕鬆完成tunnel命令能完成的本地數據導入導出工作。

MaxCompute Studio工具安裝請參考文檔安裝 IntelliJ IDEA、安裝MaxCompute Studio.

本地數據導入

前提條件：表、分區已經存在，操作人有許可權對錶進行數據寫入。

進入MaxCompute Studio的Project Explorer窗口，展開Data Preview，滑鼠對需要導入數據的表右鍵，選擇 Import data into table

彈出的框里選擇上傳的本地數據文件路徑、分區（非分區表無需填）、分隔符、行數限制、大小限制等：

注意：大小限制（Size Limit）不限於10MB。

點擊OK後可以看右下角進度條，最終成功與否會在Event Log里可查看相關日誌。導入成功日誌中會給出寫入成功的行數和寫入失敗的行數。如：

上午10:35 Success: Import to table tablename from file /Users/.../Documents/.../t_data.txt finished, success [ 220977 ], failed [ 0 ]. n

數據導出本地

前提條件：操作人有許可權對錶進行數據導出。

進入MaxCompute Studio的Project Explorer窗口，展開Data Preview，滑鼠對需要導入數據的表右鍵，選擇 Export data from table

彈出框輸入導出文件地址包括文件名文件類型（CSV或TXT）、選擇需要下載的分區（非分區表直接下載整張表）、導出行數限制、大小限制等。

注意：行數不限於10000行，大小不限於10MB，可以下載整張非分區表或分區表的整個分區。

點擊OK後可以看右下角進度條，最終成功與否會在Event Log里可查看相關日誌。導出成功日誌中會給出導出成功的行數和導出失敗的行數。如：

上午10:47 Success: Export from table tablename to file /Users/..../Desktop/... finished, success [ 220977 ], failed [ 0 ].n

結束語：MaxCompute Studio中上述的本地數據導入導出功能實際上就是採用 MaxCompute Tunnel 服務，功能與Tunnel命令一樣。

推薦閱讀：

TAG:大数据 |