阿里雲數加大數據平台MaxCompute全套攻略（持續更新201705）

概況介紹：

• 10年老兵帶你看盡MaxCompute大數據運算挑戰與實踐10年老兵帶你看盡MaxCompute大數據運算挑戰與實踐-博客-雲棲社區-阿里雲
• 什麼是阿里雲數加大數據計算服務MaxCompute?

• 一分鐘了解阿里雲產品：大數據計算服務MaxCompute概述

• 數加平台如何通過Serverless 架構實現普惠大數據

• 淘寶大數據之路
• 【視頻】不要猶豫 了解這些即可玩轉阿里雲MaxCompute
• MaxCompute產品詳情頁

2.0專題：

• 如何申請試用MaxCompute 2.0

• MaxCompute 2.0 生態開放之路及最新發展

• MaxCompute 2.0—從ODPS到MaxCompute

• MaxCompute2.0性能評測：更強大、更高效之上的更快速

• MaxCompute上如何處理非結構化數據

• MaxCompute訪問TableStore(OTS) 數據

• MaxComputeSql性能調優

• 生態與兼容：MaxCompute大數據生態集成和開發工具
• MaxCompute理解數據、運算和用戶的大腦：基於代價的優化器

• Vectorized Execution Engine in MaxCompute 2.0簡介

評測：

• 2017大數據標準化論壇發布了第一批大數據系統測試結果，阿里雲數加獲得了大數據系統測試證書。

• 可靠、安全、易用，阿里雲數加大數據平台首批通過國家大數據標準檢測

• 7倍!阿里雲的MaxCompute居然比自建Hadoop便宜這麼多

• MaxCompute把100TB數據的排序時間縮短到了377秒，打破了此前由微軟、雅虎等公司保持的紀錄，獲得全球4項世界冠軍。

• 持續創新和改進，為用戶創造最大價值，阿里雲數加MaxCompute獲得C-Tech Awards 2016年度「最具技術創新獎」

• MIT評出全球十大突破性技術 阿里巴巴連摘兩項

機器學習專題：

• 機器學習——讓人工智慧觸手可及

• 大規模深度學習優化技術在PAI平台中的應用及實踐

• 阿里雲工程師用機器學習破解霧霾成因

圖計算：

• 基於MaxCompute的圖計算實踐分享-圖載入過程

• 基於MaxCompute的圖計算實踐分享-解析圖載入過程

• 基於MaxCompute的圖計算實踐分享-Aggregator機制介紹

• 基於MaxCompute的圖計算實踐分享-常見問題解決及優化指南

客戶案例：

• 藉助數加，原來需要2-3天的單維度數據處理時間，目前僅需3-6小時，研發周期更短，產品需求符合度更高。

• 大數據打造你的變美頻道——數加平台上小紅唇的大數據實踐

• 阿里雲與國家天文台成立天文大數據聯合研究中心

• 阿里雲參與兩大國家工程實驗室獲批，人工智慧繼續深入工業製造

• 藉助阿里雲數加，小小的美甲行業被美甲幫玩出了天價

• 美甲幫：玩轉指甲上的大數據平台

• 大數據打造你的變美頻道——數加平台上小紅唇的大數據實踐

• 與阿里雲整個生態體系共同成長，更快更好的為房地產行業客戶提供高價值的服務

• 蘇州協鑫與阿里雲合作階段性完成，良品率已提升1%

• 禾連健康CDO沈金：談雲時代的大數據平台架構

• 小矽片與大數據的結合 ——協鑫光伏的新製造之路

• 墨跡天氣-輕鬆處理每天2TB的日誌數據，支撐運營團隊進行大數據分析挖掘，隨時洞察用戶個性化需求

• 阿里雲數加讓企業更專註於業務，助力東潤環能高效利用大數據資源

• 純雲大數據系統的構建與價值

• 阿里雲數加助力東潤環能開啟新能源大數據時代

• 賦能平台、提效工具、場景化應用，地產大數據玩轉有訣竅

• 產品3周迭代一次，啟信寶駕馭8000萬企業徵信的平台架構

• 日交易筆百萬級，Ping++的大數據平台架構

• 專訪佰騰科技大數據團隊，談專利大數據領域的挑戰與實踐

• 佰騰科技的專利大數據的雲上裂變之路

• 技術創業難？看匯合營銷如何玩轉大數據與機器學習

• 數據讓生意更簡單，網聚寶創業團隊利用數加快速打造核心業務競爭力，在激烈的市場競爭中彎道超車。

• 網魚網咖-利用數加快速搭建大數據平台，極致洞察，為客戶帶來從所未有的體驗。

• 年服務人次3300萬+，網魚網咖的大數據挑戰及架構

• 友盟這家數據公司為什麼能成為數百萬企業的選擇？

• 數加平台協助匯合營銷快速行動，捕獲轉瞬即逝的商機。

• 全民直播牽手阿里雲，技術升級觸發直播新體驗

• 3天擼完一個團隊半年的項目，單客戶數據動輒幾百萬的行業也玩雲？

• 杭州治堵有「智慧」 阿里雲數加激活城市大腦

• 堵車預測神器誕生，浙江已用來治療高速頑疾

• 小團隊擁有大能量 三十個年輕人的創業故事

• 完成數據的打通-豌豆莢被阿里巴巴收購後的168天

新手入門：

• 阿里雲數加大數據計算服務MaxCompute學習路線圖 (持續更新中)

• 【大數據學習】數據化運營並不難？關鍵是這些技術你get了么？！

• MaxCompute 學習計劃(一)

• MaxCompute 學習計劃(二)

• MaxCompute 學習計劃(三)

計費購買：

• 計量計費說明

• 價格計算器-小工具下載
• 購買諮詢專家群

技術峰會：

• 雙管齊下，MaxCompute數據上雲與生態
• 【直擊深圳雲棲大會大數據專場】陳鵬宇分享主題—數加：邁向數據智能之路

• 技術與架構，解析如何將大數據最快落地到實踐

• MaxCompute 2.0 性能優化揭秘

  • 演講視頻：偉林：MaxCompute 2.0 性能優化揭秘-直播-雲棲社區-阿里雲

  • PDF下載：https://yq.aliyun.com/attachment/download/?id=1449

  • 演講整理文章：MaxCompute理解數據、運算和用戶的大腦：基於代價的優化器-博客-雲棲社區-阿里雲

  MaxCompute大數據語言的新發展

  • 演講視頻：振禹：大數據語言的新發展-直播-雲棲社區-阿里雲

  • PDF下載：https://yq.aliyun.com/attachment/download/?id=1448

  • 演講整理文章：MaxCompute SQL 現狀與展望

  大規模流式增量計算及其在阿里巴巴的應用

  • 演講視頻：布民：大規模流式增量計算及其在阿里巴巴的應用-直播-雲棲社區-阿里雲

  • PDF下載：https://yq.aliyun.com/attachment/download/?id=1444

  • 演講整理文章：雙11數據大屏背後的秘密：大規模流式增量計算及應用-博客-雲棲社區-阿里雲

  PAI分散式機器學習平台計算模型演進之路

  • 演講視頻：九豐：PAI分散式機器學習平台計算模型演進之路-直播-雲棲社區-阿里雲

  • PDF下載：https://yq.aliyun.com/attachment/download/?id=1445

  • 演講整理文章：阿里雲機器學習平台編程模型演進之路-博客-雲棲社區-阿里雲

  MaxCompute數據上雲與生態

  • 演講視頻：朋春：MaxCompute數據上雲與生態-直播-雲棲社區-阿里雲

  • PDF下載：https://yq.aliyun.com/attachment/download/?id=1446

  • 演講整理文章：雙管齊下，MaxCompute數據上雲與生態-博客-雲棲社區-阿里雲

  高可用大數據計算平台如何持續發布和演進

  • 演講視頻：無庸：高可用大數據計算平台如何持續發布和演進-直播-雲棲社區-阿里雲

  • PDF下載：https://yq.aliyun.com/attachment/download/?id=1447

  • 演講整理文章：高可用大數據計算服務如何持續發布和演進-博客-雲棲社區-阿里雲

  專利大數據的雲上裂變之路

  • 演講視頻：許鵬：專利大數據的雲上裂變之路-直播-雲棲社區-阿里雲

  • PDF下載：https://yq.aliyun.com/attachment/download/?id=1440

  • 演講整理文章：佰騰科技的專利大數據的雲上裂變之路-博客-雲棲社區-阿里雲

  地產大數據趨勢與應用實踐

  • 演講視頻：劉崢：地產大數據趨勢與應用實踐-直播-雲棲社區-阿里雲

  • PDF下載：https://yq.aliyun.com/attachment/download/?id=1441

  • 演講整理文章：賦能平台、提效工具、場景化應用，地產大數據玩轉有訣竅-博客-雲棲社區-阿里雲

  用大數據打造你的變美頻道

  • 演講視頻：王洋：用大數據打造你的變美頻道-直播-雲棲社區-阿里雲

  • PDF下載：https://yq.aliyun.com/attachment/download/?id=1443

  • 演講整理文章：大數據打造你的變美頻道--數加平台上小紅唇的大數據實踐-博客-雲棲社區-阿里雲

  雲上大數據，零售新思維

  • 演講視頻：劉立兼：雲上大數據，零售新思維-直播-雲棲社區-阿里雲

  • PDF下載：https://yq.aliyun.com/attachment/download/?id=1442

  • 演講整理文章：純雲大數據系統的構建與價值-博客-雲棲社區-阿里雲

Workshop：

• 《雲數據·大計算：海量日誌數據分析與應用》Workshop-入口

• 數據採集：日誌數據上傳
• 數據加工：用戶畫像
• 數據分析展現：可視化報表及嵌入應用
• 社交數據分析：好友推薦

MaxCompute1元試用體驗館：

• Flume採集網站日誌到MaxCompute

• Hadoop數據表遷移到MaxCompute

• 快速搭建一個BI銷售數據分析系統

• 機器學習實現海量新聞自動分類

• 機器學習為您揭秘霧霾怎麼形成

數據上雲專題：

• 數據進入阿里雲數加-大數據計算服務MaxCompute（原ODPS）的N種方式

• ECS+SLS+MaxCompute 日誌同步
• RDS+DTS+MaxCompute 日誌同步

數據安全專題：

• 你的大數據安全么？「Hadoop集群遭遇勒索軟體攻擊 」

• 【阿里雲大數據產品MaxCompute】DT時代企業數據資產的護衛艦

• 可靠、安全、易用，阿里雲數加大數據平台首批通過國家大數據標準檢測
• 阿里雲成為全國首家雲等保試點示範平台 金融雲通過國家等保四級備案測評

• MaxCompute數據安全機制

運維/容災專題：

• MaxCompute(ODPS)大數據容災方案與實現（及項目落地實例）專有雲
• 阿里雲大數據計算平台的自動化、精細化運維之路

數倉專題：

• 乾貨：解碼OneData，阿里的數倉之路。
• 企業大數據平台下數倉建設思路

• 大數據來了，資料庫爆倉了，寶寶們怎麼辦？

最佳實踐：

• 理財農場大數據初探之路

• 報警分析雲上集成解決方案

• 專訪360醫藥大數據負責人侯曉鋒：談未來智能醫療的挑戰及實踐

• 【物流大數據實踐】基於阿里雲Maxcompute實現物流跟蹤

• 袋鼠雲助力光伏產業 | 基於阿里雲數加平台做演算法預測
• 基於數加分析政府工作報告

• 「零基礎」系列課程--Flume收集網站日誌數據到MaxCompute

• 「零基礎」系列課程--如何通過大數據開發套件Data IDE玩轉大數據

• MaxCompute_2_MaxCompute數據遷移文檔

• 基於大數據開發套件定時調度帶資源文件的MapReduce作業

• 如何用大數據開發套件周期調度機器學習演算法

• ［ETL實踐指南］基於Kettle的MaxCompute插件實現數據上雲

• 推薦引擎的離線演算法和在線演算法初探

• OpenSearch：輕鬆構建大數據搜索服務

• 雲上遊戲數據分析實踐

• 5分鐘學會使用DataHub接入實時數據到MaxCompute(原ODPS)

• Docker時代——如何實現日誌數據一鍵上雲

• 使用 MaxCompute Studio 開發大數據應用

• MaxCompute Studio提升UDF和MapReduce開發體驗
• MaxCompute（原ODPS）使用總結-初級篇

• MaxCompute實戰之數據存儲
• 基於 MaxCompute 的極速的基因測序分析

• MaxCompute同步到AnalyticDB 任務報警簡易處理
• MaxCompute 存儲優化技巧

• MaxCompute OpenMR的7個性能優化策略
• MaxCompute5個窗口函數限制
• MaxCompute（原ODPS）任務優化之列裁剪

• MaxCompute應用限制整理
• 產品動手實踐視頻課-基於MaxCompute SQL實現商品推薦
  • MaxCompute SQL 01-說在前面的話
  • MaxCompute SQL 02-什麼是個性化推薦系統
  • MaxCompute SQL 03-個性化推薦系統是怎麼實現的？
  • MaxCompute SQL 04-推薦系統的評價和應用
  • MaxCompute SQL 05-天貓應用場景介紹
  • MaxCompute SQL 06-問題分析和思路整理
  • MaxCompute SQL 07-簡單實現：根據銷量推薦
  • MaxCompute SQL 08-簡單實現：和隨機推薦的對比
  • MaxCompute SQL 09-個性化推薦：演算法設計和特徵分析
  • MaxCompute SQL 10-個性化推薦：選擇特徵和採樣
  • MaxCompute SQL 11-個性化推薦：訓練模型
  • MaxCompute SQL 12-個性化推薦：參數優化和模型評估
  • MaxCompute SQL 13-個性化推薦：模型應用與總結
  • MaxCompute SQL 14-總結：不足與改進

常見問題：

• 大數據開發—常見問題（1）

• 大數據開發—常見問題（2）

• MaxCompute數據下載/導出的SQL運行結果的方法總結

• 大數據開發套件中數據同步-日誌報錯回滾信息的一些問題總結

• 解決代碼在本地IDE環境里調試成功了後，到線上調試出現結果不符合預期的情況

• 【大數據技巧】Flume採集網站日誌到MaxCompute常見問題匯總

• 做ETL操作導入數據到MaxCompute的時候，對如何設置數據同步策略疑惑

• 如何用SQL對MaxCompute數據進行修改和刪除

• MaxCompute中實現IP地址歸屬地轉換

• MaxCompute（原ODPS） MapReduce常見問題解答

• MaxCompute計算長尾問題

• 定位排查工作流的計算結果數據量不符合預期的方法

• 用腳本模式配置數據同步--用自定義的ECS來調度來解網路不可達的問題

生態兼容：

• MaxCompute JDBC 2.2 發布說明

• 手把手教你完成MaxCompute JDBC自定義日誌配置

• MaxCompute JDBC 2.0 beta中的一些變更說明

• 使用 odps-jdbc 接入 ODPS，不再從零開始
• 原來MaxCompute還能這麼玩系列（3）—— 借力QlikView玩轉數據分析

• 原來MaxCompute還能這麼玩系列（2）—— 利用HiveServer2 Proxy實現MaxCompute與Hive生態工具的互通

• 原來MaxCompute還能這麼玩系列（1）—— 通過Apache Zeppelin 快速實現數據可視化

• 當 Elasticsearch 遇上 MaxCompute

• Flume Java on MaxCompute介紹

• Logstash + DataHub + MaxCompute/StreamCompute 進行實時數據分析
• 如何在MaxCompute上運行HadoopMR作業

• 基於OGG Datahub插件將Oracle數據同步上雲

• R語言和大數據
• RODPS介紹

• PyODPS
  • 什麼是PyODPS DataFrame
  • PyOdps 0.4版本發布，從一個故事說起
  • PyOdps在互動式環境下的使用，讓探索ODPS數據更容易些
  • PyOdps DataFrame來臨，數據分析從未如此簡單！
  • Python+大數據計算平台，PyODPS架構手把手教你搭建

沙龍：

• 關於舉辦「天德π客」創業論壇——「基於阿里雲的大數據實踐—海量日誌分析」的通知

產品功能：

• MaxCompute（原ODPS） 腦圖 － 常用知識總結

• 數據通道：
  • DataX：
    • 阿里雲開源離線同步工具DataX3.0介紹
    • MySQL超時參數以及相關DataX數據同步案例分享
  • Tunnel：Tunnel SDK數據上傳利器——BufferedWriter使用指南
• 客戶端工具：
  • Studio：使用 MaxCompute Studio 開發大數據應用
  • Console：Console 實用小命令
• MaxCompute上你從未體驗過的數據分析和機器學習過程

• 【MaxCompute學習】隱式轉化的問題

• 使用 MaxCompute（原ODPS） java sdk 運行安全相關命令

• MaxCompute flighting —— Task灰度發布
• MaxCompute Optimizer之表達式約化

• MaxCompute 中的Code Generation技術簡介
• MaxCompute（原ODPS） 事件(Event)機制

• Fuxi ServiceModeJob 多租戶（Quota Group） 功能介紹

• 作業調度：
  • 阿里雲伏羲(fuxi)調度器FuxiMaster功能簡介(一) 多租戶(QuotaGroup)管理

  • 阿里雲伏羲(fuxi)調度器FuxiMaster功能簡介(二) 調度模型

  • 阿里雲伏羲(fuxi)調度器FuxiMaster功能簡介(三) 針對在線服務的資源強穩定

  • 阿里雲伏羲(fuxi)調度器FuxiMaster功能簡介(四) NodeLabel調度
• 盤古：阿里雲飛天分散式存儲系統設計深度解析

產品/技術資訊：

• 阿里雲2020年預期凈利100億，碾壓99%A股公司 | 新龍榜

• 從IaaS到AI，馬云為何讓阿里雲去扛人工智慧大旗？

• 數據新能源驅動智慧新世界：數據新能源時代來臨

• 「NASA」計劃背後，阿里巴巴大數據系統架構概述

• 三個詞，讓你看懂馬雲、劉強東力推的「新零售」

• 盤點全球最熱門十家大數據公司中國佔據三席

• [大數據行業應用發展前景分析] 阿里潘永花報告：大數據產業將成為新的煤和石油介紹

• 基於阿里雲數加平台的大數據Serverless實踐

• 川普軍完美逆襲，阿里大數據為你解讀特朗普成功的真相
• 大數據簡析「林丹出軌事件」背後的微博信息傳播
• 《大數據漫談 -- DT時代》連載之 NO.1

• 漫談阿里大數據

• MaxCompute公眾號問答頻道

本文為雲棲社區原創內容，未經允許不得轉載，如需轉載請發送郵件至yqeditor@list.alibaba-inc.com
推薦閱讀：