三分鐘教你學會分析MaxCompute消費明細
很多用戶經常被MaxCompute收費所困擾,比如執行了一條 select xxx from yyy 然後扣費1元 ,使用了機器學習後扣了1分錢,不知道如何查詢到明細,也無法做優化。
接下來,我來教大家學習如何通過控制台消費功能查看你在MaxCompute(DataWorks/Studio)中每一條SQL/MR計算、存儲、下載的消費明細。
場景1,查看昨天的收費情況
出賬後,通過控制台消費明細來查看。
出賬時間:
預付費出賬單時間次日12點
後付費出賬單時間是次日9點
step1 進入阿里雲控制台-消費,https://expense.console.aliyun.com/#/
step2 打開消費總覽,看到當月賬單。
step3 點擊左側消費明細,根據產品分類Maxcompute及時間來篩選昨天的消費金額,https://expense.console.aliyun.com/#/consumption/list/flow/afterpay
step4 點擊詳情,展開每個項目的消費情況,查看有無「貴」收費
如發現「貴「的項目,可根據存儲、計算、下載幾個場景對應到下面的解決方法。
場景2,分析某一天計算收費「貴「原因
通過導出使用記錄,分析消費多的作業instance具體情況。
step1 打開消費明細後,看到賬單異常後,請到左側消費記錄下載導出使用記錄。
step2下載記錄後,打開excel表,定位異常數據的instanceid。
比如,計量信息編號20171106100629865g4iplf9這個SQL任務,產生的費用是SQL讀取量(7352600872/1024/1024/1024)*SQL複雜度 1 * 0.3元/GB/複雜度=2元 ,計算公式參考官網:https://help.aliyun.com/document_detail/27989.html?spm=5176.product27797.6.559.QL7dYV#h2-u6309u91CFu540Eu4ED8u8D39
step3 查看這個「貴」instanceID 的logview
wait 20171106100629865g4iplf9
step4 通過Logview我們發現產生了全表掃描、長尾計算等問題,及時優化我們的SQL/MR作業。
長尾優化參考:
- MaxCompute計算長尾問題
- MaxCompute(原ODPS) JOB 長尾問題調優
場景3,分析存儲收取1分錢的原因
通過導出使用記錄,分析消費多的存儲Storeage明細。
step1 下載記錄後,打開excel表。
step2 查看數據分類中的Storage,會發現在yinlin_test_huabei2_io Project下存儲了384位元組數據。
按照官網存儲定價規則,存儲(384/1024/1204)*0.0192元/GB不到1分錢,但官網提到小於等於512M數據最低收取1分錢。計算公式參考官網:https://help.aliyun.com/document_detail/27989.html?spm=5176.product27797.6.559.QL7dYV#h1-u5B58u50A8u8BA1u8D39
step3 如果這份數據是用來測試的,你可以通過IDE刪除Project下的表數據。
場景4,分析數據上傳和下載是否產生了費用
部分用戶總擔心數據同步會產生費用,我們可以通過分析賬單來解決。
step1 點擊消費明細詳情,查看上行、下載有無收費。
我們可以看到收費明細裡面並沒有上行計費項,所以用戶不必擔心數據上傳產生了費用。
同時,我們看到了下載產生了8分錢。
step2 通過導出使用記錄,分析消費多的下載消耗明細。
step3 可以看到公網下行流量產生了一條約0.153GB(164223524byte)的下行流量,根據官網收費標準,0.153GB*0.8 元/GB=0.12元。計費公式參考:https://help.aliyun.com/document_detail/27989.html?spm=5176.product27797.6.559.QL7dYV#h1-u4E0Bu8F7Du8BA1u8D39
step4 下行優化
a 查看你的tunnel設置的service,是否設置成了公共網路。參考:https://help.aliyun.com/document_detail/34951.html
b 如果你本地在蘇州,Region在華東2上海,那麼你可以先通過華東2的ECS把數據下載到虛機,然後利用ECS包月下載資源。
總結:通過上述幾個場景,帶大家學習MaxCompute賬單的分析方法,希望能夠幫到更多的用戶。
原文
推薦閱讀:
※5年數據科學家熬成Senior,在想啥呢?
※從底層到應用,那些數據人的必備技能
※【乾貨】Kaggle 數據挖掘比賽經驗分享
※你的上下班路線,和數據變現有什麼關係?| X實驗室
※脈訊社群指數周榜(9.18-9.24):小米列手機榜第2,香奈兒居美妝榜第1