三分鐘教你學會分析MaxCompute消費明細

很多用戶經常被MaxCompute收費所困擾,比如執行了一條 select xxx from yyy 然後扣費1元 ,使用了機器學習後扣了1分錢,不知道如何查詢到明細,也無法做優化。

接下來,我來教大家學習如何通過控制台消費功能查看你在MaxCompute(DataWorks/Studio)中每一條SQL/MR計算、存儲、下載的消費明細。

場景1,查看昨天的收費情況

出賬後,通過控制台消費明細來查看。

出賬時間:

預付費出賬單時間次日12點

後付費出賬單時間是次日9點

step1 進入阿里雲控制台-消費,expense.console.aliyun.com

step2 打開消費總覽,看到當月賬單。

step3 點擊左側消費明細,根據產品分類Maxcompute及時間來篩選昨天的消費金額,expense.console.aliyun.com

step4 點擊詳情,展開每個項目的消費情況,查看有無「貴」收費

如發現「貴「的項目,可根據存儲、計算、下載幾個場景對應到下面的解決方法。

場景2,分析某一天計算收費「貴「原因

通過導出使用記錄,分析消費多的作業instance具體情況。

step1 打開消費明細後,看到賬單異常後,請到左側消費記錄下載導出使用記錄。

step2下載記錄後,打開excel表,定位異常數據的instanceid。

比如,計量信息編號20171106100629865g4iplf9這個SQL任務,產生的費用是SQL讀取量(7352600872/1024/1024/1024)*SQL複雜度 1 * 0.3元/GB/複雜度=2元 ,計算公式參考官網:help.aliyun.com/documen

step3 查看這個「貴」instanceID 的logview

wait 20171106100629865g4iplf9

step4 通過Logview我們發現產生了全表掃描、長尾計算等問題,及時優化我們的SQL/MR作業。

長尾優化參考:

  • MaxCompute計算長尾問題
  • MaxCompute(原ODPS) JOB 長尾問題調優

場景3,分析存儲收取1分錢的原因

通過導出使用記錄,分析消費多的存儲Storeage明細。

step1 下載記錄後,打開excel表。

step2 查看數據分類中的Storage,會發現在yinlin_test_huabei2_io Project下存儲了384位元組數據。

按照官網存儲定價規則,存儲(384/1024/1204)*0.0192元/GB不到1分錢,但官網提到小於等於512M數據最低收取1分錢。計算公式參考官網:help.aliyun.com/documen

step3 如果這份數據是用來測試的,你可以通過IDE刪除Project下的表數據。

場景4,分析數據上傳和下載是否產生了費用

部分用戶總擔心數據同步會產生費用,我們可以通過分析賬單來解決。

step1 點擊消費明細詳情,查看上行、下載有無收費。

我們可以看到收費明細裡面並沒有上行計費項,所以用戶不必擔心數據上傳產生了費用。

同時,我們看到了下載產生了8分錢。

step2 通過導出使用記錄,分析消費多的下載消耗明細。

step3 可以看到公網下行流量產生了一條約0.153GB(164223524byte)的下行流量,根據官網收費標準,0.153GB*0.8 元/GB=0.12元。計費公式參考:help.aliyun.com/documen

step4 下行優化

a 查看你的tunnel設置的service,是否設置成了公共網路。參考:help.aliyun.com/documen

b 如果你本地在蘇州,Region在華東2上海,那麼你可以先通過華東2的ECS把數據下載到虛機,然後利用ECS包月下載資源。

總結:通過上述幾個場景,帶大家學習MaxCompute賬單的分析方法,希望能夠幫到更多的用戶。

原文


推薦閱讀:

5年數據科學家熬成Senior,在想啥呢?
從底層到應用,那些數據人的必備技能
【乾貨】Kaggle 數據挖掘比賽經驗分享
你的上下班路線,和數據變現有什麼關係?| X實驗室
脈訊社群指數周榜(9.18-9.24):小米列手機榜第2,香奈兒居美妝榜第1

TAG:大数据 | HTTPS | SQL |