eBay大規模數倉優化

來自專欄海牛大大大數據技術分享

在eBay，我們每天需要處理超過60PB的數據，在使用Spark進行數據處理的時候，我們遇見了不少性能問題，解決這些問題通常需要大量的人工配置來干預或者優化，極大了增加了工作量；因此我們引入了Adaptive Execution（Dynamically Optimize execution) 和Indexed Bucket(Optimize Data Layout)，以及一系列小的性能優化，本文講介紹這些工作的基本原理和取得的效果，也有相關問題在Apache Spark Jira上的討論鏈接。

載入超時，點擊重試

原文https://www.slidestalk.com/s/ebay_dw_optimization

http://weixin.qq.com/r/yCi0rMfEWZomrYPP933a (二維碼自動識別)