MaxCompute Studio使用心得系列3——可視化分析作業運行

摘要: 我們很熟悉的是通過Logview 去分析作業的執行情況,logview上有很詳細的執行日誌,而Studio不僅僅提供可視化的信息,還會明確給出一些分析結論如job是有否長尾或數據傾斜情況。

原文:click.aliyun.com/m/4026

上一篇寫分享了通過MaxCompute Studio 編寫sql腳本時「編譯」功能帶來的便捷,這次分享腳本編譯好提交運行後,自助查看作業的執行情況。

我們很熟悉的是通過logview,去分析作業的執行情況,logview上有很詳細的執行日誌,而Studio不僅僅提供可視化的信息,還會明確給出一些分析結論如job是有否長尾或數據傾斜情況。

比如我寫完一個sql腳本,編譯成功

接著執行腳本,Studio自動打開當前job的執行詳細信息頁面,包括job基本信息列表、詳情展示和分析區(執行計劃圖、時序圖、分析等)

如上圖,job執行失敗:

  • 界面底部RUN日誌中打出具體的錯誤信息。
  • 詳情展示區默認顯示執行計劃圖,可以看到子任務的依賴關係,雙擊每一個子任務節點圖,可以展開更詳細的信息。
  • 即使是失敗的job,也可以切換到分析tab查看具體結論,如本次執行,job有長尾。

可以點擊具體的長尾節點查看該節點的長尾圖進一步分析,相關長尾調優可以參考文檔計算長尾調優。

修改好sql腳本,再執行,執行成功如下圖:

成功的任務我們依然可以分析很多信息,比如查看那個任務task耗時熱點:

點擊下面的進度條可以回放整個job執行的過程

可以查看耗時最長的前10個節點

可以查看每個子任務執行過程所有fuxi instance各種I/O信息:

同樣的可以看到分析信息,看是否還有可優化的點。

怎麼樣,這樣看日誌是不是感覺更容易理解了呢!


推薦閱讀:

告別盲目建設大數據 國家即將出台兩項大數據重要標準
大數據:創新、競爭和生產力的下一個前沿(原文翻譯)(5)
抓住數據的小尾巴 - JS浮點數陷阱及解法
數據分析的「去中心化」是大數據變現的必經之路!
小白都能理解的數據分析和大數據(一)

TAG:大数据 | HTTPS | 脚本 |