MaxCompute Studio使用心得系列3——可視化分析作業運行
摘要: 我們很熟悉的是通過Logview 去分析作業的執行情況,logview上有很詳細的執行日誌,而Studio不僅僅提供可視化的信息,還會明確給出一些分析結論如job是有否長尾或數據傾斜情況。
原文:http://click.aliyun.com/m/40265/
上一篇寫分享了通過MaxCompute Studio 編寫sql腳本時「編譯」功能帶來的便捷,這次分享腳本編譯好提交運行後,自助查看作業的執行情況。
我們很熟悉的是通過logview,去分析作業的執行情況,logview上有很詳細的執行日誌,而Studio不僅僅提供可視化的信息,還會明確給出一些分析結論如job是有否長尾或數據傾斜情況。
比如我寫完一個sql腳本,編譯成功
接著執行腳本,Studio自動打開當前job的執行詳細信息頁面,包括job基本信息列表、詳情展示和分析區(執行計劃圖、時序圖、分析等)
如上圖,job執行失敗:
- 界面底部RUN日誌中打出具體的錯誤信息。
- 詳情展示區默認顯示執行計劃圖,可以看到子任務的依賴關係,雙擊每一個子任務節點圖,可以展開更詳細的信息。
- 即使是失敗的job,也可以切換到分析tab查看具體結論,如本次執行,job有長尾。
可以點擊具體的長尾節點查看該節點的長尾圖進一步分析,相關長尾調優可以參考文檔計算長尾調優。
修改好sql腳本,再執行,執行成功如下圖:
成功的任務我們依然可以分析很多信息,比如查看那個任務task耗時熱點:
點擊下面的進度條可以回放整個job執行的過程
可以查看耗時最長的前10個節點
可以查看每個子任務執行過程所有fuxi instance各種I/O信息:
同樣的可以看到分析信息,看是否還有可優化的點。
怎麼樣,這樣看日誌是不是感覺更容易理解了呢!
推薦閱讀:
※告別盲目建設大數據 國家即將出台兩項大數據重要標準
※大數據:創新、競爭和生產力的下一個前沿(原文翻譯)(5)
※抓住數據的小尾巴 - JS浮點數陷阱及解法
※數據分析的「去中心化」是大數據變現的必經之路!
※小白都能理解的數據分析和大數據(一)