廣告回報能被測量嗎？——經濟學用實驗告訴你

01-25

先前在網上看到一篇文章，介紹的是一篇非常精彩的論文《The UnfavorableEconomics of Measuring the Returns to Advertising》（測量廣告回報的不討喜經濟學）。讀完之後覺得大為過癮，但同時也對論文中的一些更為細化的實驗過程，如模型建立，擾動項的討論感到非常好奇，於是便找來原論文來研究。從搜集資料到整理思路大概耗費兩個星期左右，寫下這篇筆記來作為學習計量經濟學原理和經濟學實證實驗的一個小註腳。我大致將文章分為文章綜述，模型建立，實驗方法，數據擬合和總結部分。在這篇筆記中，我將為大家分析論文中的思路和方法，力圖使大家明白經濟學在實驗中的嚴謹之處。

綜述：

在當代社會，沒有人會懷疑廣告的重要性。一個美國人每天大約要看25-45分鐘的商業廣告，而與此對應的是，美國每年的廣告支出高達人均500美元。（Kantar Media, 2008）。即使承擔著如此高的廣告支出，商家們也從未懷疑過廣告的有效性。再進一步來說，商家甚至已經將廣告對於銷售增長的作用當成一種信仰了。（Abraham and Lodish, 1990）。在寫下這篇文章的時候，美國的商家已經用了4.6萬億美元的廣告支出來驗證它了。下圖分別為美國曆年廣告支出和美國大公司在廣告上的投入：

除了商家不惜花重金在廣告上來吸引顧客外，學術界也沒有停止對於廣告的探索。在GoogleScholar搜索「advertising campaign」（廣告戰役）關鍵詞，結果顯示有48,691份相關的研究論文。理所應當的，經濟學家們在廣告上的研究也逐漸深入，並嘗試用大規模的隨機對照試驗來進行驗證。但迄今為止，還沒有經濟學家能告訴我們，廣告支出和回報到底呈現怎樣的一種關係？如果說沒有人能給出這樣的對應關係，誰又能保證商家們的廣告不是將錢丟進水裡，純粹是在浪費錢呢？基於這樣的一個疑問，論文的最終目的便是「廣告的回報到底能不能被測量？如果能，它們之間的關係是什麼？」。很遺憾，最後論文得出的結論是，廣告回報的測量幾乎不可能。

模型建立：

在試驗中，我們將人均廣告支出記為c，它決定了一個廣告能對個體造成多少「影響力」。假定銷售波動記為β(c)，每份產品的毛利為m，則總收入的波動為β(c)*m，總利潤的波動為β(c)*m-c。現在我們引入一個概念：投資回報率（ROI，Return Of the Investment）。表達式為 $ROI=frac{eta (c)*m-c}{c}$ ，它代表了一個企業在投入廣告支出之後能夠獲得收益率，取值大於-100%。若ROI=-100%，則代表「把錢丟進水裡」，這筆廣告支出完全沒有得到回報；若取值大於0%，則代表這筆廣告支出帶來的銷售利潤大於原本的支出，企業就有利可圖。現在引入我們的模型：

由於c的支出一定是線性的，以一條斜率為1的直線來表示（圖中紅線）。我們假定企業新獲得的銷售額為一條凹曲線，因為一條凹曲線對於實際生產中的擬合程度最好（Lewis, 2010）。我們關注X軸上兩個點， $c^{*}$ 和 $c_{h}$ . $c^{*}$ 代表的是當銷售額曲線斜率為1時，這時ROI最大； $c_{h}$ 代表的是ROI恰好為0的時刻。可以看到 $c_{h}$ 點之前的ROI一直大於0，而之後則一直小於0。

模型建立完成後，我們要做的事情非常清晰了：如果我們能找到每一個廣告投入水平下的銷售額波動的話，我們就可以將整條曲線畫出來，從而找到ROI最大的一個點。如果真的能夠找到的話，今後所有廠家都可以在ROI最大的點進行廣告投入，從而獲得最大的回報。但是，實驗的結果真的能如我們所願嗎？

實驗方法：

在實驗中，我們運用到的方法為隨機對照試驗（RCTs，Randomized Controlled trial）。一共有25家企業參與了實驗，其中19家為實體商品銷售商，6家提供金融服務。對於這些公司，作者不斷暗示「這些公司你們肯定認識喲但是基於保密協定我們不能告訴你它們是啥」。上述提到的所有公司都在實驗中砸了一筆錢，少的有1萬美元，多的有60萬美元。每一個獨立的實驗都有超過500,000的樣本量，大多都超過1,000,000個樣本量。與此對應的，分攤到每一個樣本量上的廣告支出在0.02到0.35美元之間，整個實驗總支出為2848000美元，這可以說是一個非常昂貴的經濟學實驗了。

實驗方法也非常簡單，就是我們熟悉的控制變數：有的用戶看得到廣告，而有的用戶看不到廣告。通過兩個組別的銷售額對比來觀察給定c的情況下ROI的大小，從而希望推斷出整條曲線。所有公司的實驗相關信息如下圖：

圖中的重要信息包括實驗樣本量，對照組和控制組的對比，控制組平均銷售額和方差平均值等，具體細節請看圖中所示。

數據擬合:

終於來到了數據擬合部分，值得注意的是，接下來我們所用到的數據均來自上圖，即實驗數據的真實數值。

假設 $y_{i}$ 為銷售額，用 $x_{i}$ 來量化廣告展示， $eta$ 為廣告回報的估計係數。若整個實驗為完全隨機試驗，則簡化的方程為 $y_{i} =eta x_{i} +epsilon _{i}$ 。現將實驗分為兩組，看得到廣告的用E（Exposed）來表示，看不到廣告的用U（Unexposed）來表示。記控制組產生的銷售量為 $y_{E}$ ，對照組產生的銷售量為 $y_{U}$ ，記 $riangle y=y_{E} -y_{U}$ ，樣本總量為分別為 $N_{E}$ 和 $N_{U}$ 。此時，可計算兩組銷售量的方差估計值以及銷售量之差的方差估計值：

回歸的和t-statistic計算公式如下：

利用實驗中得到的真實數據進行擬合，在實驗中，我們得到的c為0.14美元/人，毛利率為50%，得到的平均銷售額為7美元，標準差為75美元。假設我們期望的ROI為25%，則廣告帶來的銷售額波動為0.35美元。0.35美元是平均銷售額的5%，但是我們面臨的問題是，如何在75的標準差之中檢測到這0.35美元的銷售額波動。將數值代入上述的公式中：

這意味著，就算我們的實驗各個方面都做得非常成功，所求得的擬合優度依然非常小。與此對應的，假設我們有200000個樣本量，所求得的t值也只有1.04，這意味著有74%的概率我們無法拒絕「做廣告根本沒效果」這一個假設。想要提高顯著性的方法就是加大N值，只有當樣本量到達N=2000000的時候，才勉強能算得上5%的顯著性。但是原本的樣本量數額已經太大，有些公司的樣本量甚至高達1800萬，現在還要繼續增大樣本量，顯然不太現實。

因此，在測量廣告回報中，最大的影響就是銷售額的波動。銷售額的標準差過大，使得我們根本無法相信銷售額的變化是由廣告的影響所帶來的，這也是為什麼廣告回報測量近乎不可能的直接原因。但除此之外，作者同時也指出，當 $R^{2}$ 值非常小時，RCTs本身就會對其造成非常大的影響。被忽視的變數，不精確的方程，或者在銷售額和廣告投入上的一點點不相關，都會造成值的劇烈波動（大約會在 $R^{2} =0.0001$ 的水平上波動，但是這已經比我們實驗中所得到的值要大得多了）。

至此，作者認為，測量廣告回報幾乎不可能。至於作者在論文中提到的其他信息，如附錄中的SuperBowl Impossibility Theorem和在實驗中的其他數據，還是詳見論文原文吧。

總結：

這篇花了大價錢的論文讓我基本明白了經濟學實驗的流程，從提出假設到實驗中的各項考慮，都體現出了經濟學實驗中的嚴謹性。同時，一篇優秀的論文是建立在前人研究的基礎之上的，不論是模型的建立還是實驗中的誤差分析等，都是有據可依，少走很多彎路，如此一來才有了這篇精彩的論文。最後也讓我明白了，經濟學實驗也是很能燒錢的，兩百八十萬美金，說砸就砸，絕不含糊。（笑）

參考文獻：

Lewis R A, Rao J M. The Unfavorable Economics of Measuring the Returns toAdvertising[J]. The Quarterly Journal of Economics, 2015.

Lewis R A, Rao J M. The Unfavorable Economics of Measuring the Returns toAdvertising: Online Appendix[J].

知乎專欄：不討喜的經濟學家怎麼砸場子