《計算廣告》讀書筆記
在線廣告是我們生活常見的商業中極為重要的一部分。對我們互聯網行業演算法從業人員來說，廣告也是最為常見的業務之一。挑了這本國內計算廣告領域名氣最大的書《計算廣告》劉鵬----其實是我實在沒搜到其它像樣的......
本文非常多私貨，完全不能代表原書，有興趣可以親閱原書哈。
這本書的結構是非常好的，分三大部分，第一部分講行業背景知識，第二部分講產品邏輯，第三部分講關鍵技術。邏輯非常清晰，宏觀微觀兼顧得到位，乾貨十足， 不愧是行業老兵寫的，而且絲毫沒有夸夸其談的成分。第一部分 廣告市場與背景
什麼是廣告？
廣告的根本目的是廣告主通過媒體達到低成本的用戶接觸。----《當代廣告學》
什麼是廣告呢？作者對廣告的理解是，一切付費的信息、產品或服務的傳播渠道，都是廣告。互聯網廣告有，橫幅廣告、富媒體廣告、文字鏈廣告、視頻廣告、社交廣告、移動廣告、郵件定向營銷廣告，更寬泛地，團購、遊戲聯運、固定位導航、返利購買等等，都屬於這個範疇。這些都是我們生活中天天見的東西，大量互聯網業務營利的重要組成部分就是這些了。
大數據與在線廣告的關係
作者從數據量與應用效果的關係將數據問題分為三類：
A類，數據量小的時候（採樣率低）效果會很差，比如個性化推薦和計算廣告。如果只採樣到一小部分人的數據就無法對所有人都做到精準。
B類，數據量大到一定規模以後，再增加數據的效果提升不明顯，比如文本主題模型。
C類，數據量比較小的情況下也能達到滿足應用需求的效果。比如你用excel就能搞定的問題。
計算廣告就屬於A類問題，在大數據這個詞都爛大街了的今天，計算廣告的相關技術是相當的成熟了。某程度上來說，計算廣告是推動大數據發展的極為重要的力量。大數據的發展也讓這類應用的效果越來越有商業價值。
有效性原理
結算方式--CPM、CPC、CPS/CPA/ROI、CPT
CPM按千次展示收費，通常也是品牌廣告比較適用這種收費方式，比如有時候打開愛奇藝首頁可能會看到賓士或者CHANAL的廣告。這種方式可以做一定程度的受眾定向，但是受眾劃分不會太細，否則就達不到高曝光的目的了。
CPC按點擊次數收費，與前面的方式相比，CPC使廣告平台方與需求方分攤了風險。因為要點了才能賺錢，那如果廣告平台對廣告投放的點擊預測不準的話，廣告平台自己就會損失；而需求方只會為實實在在的點擊付費，不必再獨自去承擔投放選擇的效果差異帶來的損失風險。主流的收費方式是這種，因為風險分攤合理、接入方便靈活、投放精準。
CPS/CPA/ROI，叫法比較多，總的來說就是廣告平台向廣告商拿分成，比CPC更加綁定廣告商的收益。這種方式比較少見，比較多是有戰略合作意義的情況，要麼多數就是垂直廣告。
效果監測
作為廣告商，我怎麼知道廣告平台有沒有坑我呢，展示或者點擊八百次收我一千次的錢怎麼辦。所以第三方監測公司應運而生，來給曝光量、點擊量等指標作技術核實。
第二部分 在線廣告產品邏輯
這部分主要講：合約廣告、搜索與競價廣告、程序化交易廣告、移動互聯與原生廣告。
1. 合約廣告
首先是CPT廣告，這種基本上就是線下廣告的業務邏輯照搬到線上，由廣告代理公司和媒體簽協議，定時間段定費用。對技術依賴小，只需要簡單的廣告排期系統（比如某度廣告管家）。
CPM雖然也是合約廣告，但有進步之處，就是售賣對象從「廣告位」進化到了「廣告位+人群」。技術上增加的主要複雜度在於，多個合約對投放系統提出的量的約束。
（１）地域定向。幾乎是廣告系統必支持的方式。比如我開店只賣江浙滬，那當然只在江浙滬地區投廣告啊。
（２）人口屬性定向。包括年齡、性別、教育程度、收入水平等。這種特徵是比較客觀的，相對興趣標籤來說，但不得不說這種數據也是挺髒的，錯假數據多，而且缺失數據特別多，要花大量工夫在洗數據和補數據上。雖然這種方式的效果不是非常突出，但是傳統廣告商熟悉啊，還是要侍候的。
（３）頻道定向。適用於離轉化需求比較近的垂直類媒體，比如汽車、母嬰、購物導航等。
（４）上下文定向。根據網頁的具體內容來匹配相關廣告。這種方式的覆蓋率高，因為相比用戶信息之類，網頁內容是最容易得到的。
（５）行為定向。根據用戶的歷史訪問行為了解用戶興趣然後進行相關廣告投放。跟上下文定向不同的是，上下文定向比較能反映用戶的實時意圖； 而行為定向就是把用戶訪問過的內容抽象出來作為這個用戶的特徵，可以用來表達描述用戶的長期興趣。
（6）精確位置定向。利用基站、GPS、WIFI等方法，得到用戶比較實時的精確的地理位置，使得大量區域性非常強的小廣告主（如餐飲、美容等）可以進來玩廣告。
（7）重定向。就是給老客再投廣告。這種方式的轉化率往往是很突出的。
（８）新客推薦定向。利用演算法預測用戶是否潛在客戶，老客是一種比較有效的信息可用於演算法的學習。
（9）團購。作者認為這是一種變相的廣告形式。一般這種廣告主是有區域性的，所以我們看到的團購基本上都是以城市劃分甚至以城區劃分的。團購主要是用價格誘惑，降低用戶在決策階段的門檻，對價格敏感的用戶轉化效果相當明顯。
受眾定向標籤體系
看了作者對標籤體系的介紹，說說我的見解。
在大數據玩得飛起的今天，雖然可以用非常稀疏的高維用戶特徵、用非常酷炫的模型，但是標籤體系還是有它一時半會難以取代的優點。首先是解釋性強，廣告商能看懂，這就比較容易接受。然後，標籤其實是一種經過抽象出來的帶有某些現實意義的粗粒度特徵，擬合度當然會相對低於高維原始特徵，但是泛化能力往往是不錯的。
流量預測
對於CPM來說，廣告位是確定的，流量是未知的，那就需要去預測流量。預測流量有三個用途：
（１）售前指導，供應方需要自己的供應量才能去接合適量的廣告回來投放。不然，供應量嚴重多於接回來的廣告就虧了，或者接的廣告嚴重多於供應量就要違約了。
（２）在線流量分配。有的流量會同時適合多個合約，就要合理分配這些流量，從而保證合約都能被滿足。
（３）出價指導。競價廣告沒有量的保證，廣告主需要預計什麼價格能得到多少流量來決策出價。
流量塑形
有些情況下，我們可以主動影響流量，利於合約的達到。典型的就是門戶網站，它們的流量嚴重依賴於鏈接的位置。比如在車展期間，汽車廣告需求旺盛，把汽車頻道放到流量大的位置上，呵呵，一本滿足。
在線分配
前面流量預測就說到了在線分配。當標籤越多時，重疊流量就越少，對流量預測的精度要求就越高。所以標籤越豐富，合約廣告越難玩，競價廣告就更有價值。作者沒有詳細談這部分，我也作不下去了。
2. 搜索與競價廣告
2.1 搜索廣告
在互聯網廣告的整個產品譜系中，搜索廣告有著特殊重要的地位，它的特點在於：一、搜索能夠非常直接地反映用戶的意圖；長相和自然的搜索內容很接近，用戶更容易接受；發展起來與之相適應的高效競價交易模式。這些特點導致其變現能力最強。
按預測點擊率和出價的乘積排序，決定廣告透出的位置。所以想讓自己的廣告出現在好的位置，單純的高出價不是最有效的，還要高質量的廣告內容能夠吸引到用戶點擊。
2.2 位置拍賣與機制設計
定價方法
廣義第二高價。簡單理解就是出價最高者只需要支付比第二高價多一點點的價格。比如，Ａ出價5塊，Ｂ出價3塊，結果就是Ａ以3.1塊拿下。這樣一來就解決了大家一門心思去壓價的問題，反正不管出多高的價，最終只需要給老二那個價格，競價競贏最重要。同理，老二按老三的出價給錢，老三按老四的出價給錢。結果廣告平台能賺更多。在多位置拍賣時，這種方法不是理論上最優的，但還是比較容易操作，所以採用這種方法還是最常見的。
VCG定價。這個定價是Vickrey、Clarke和Groves研究出來的，所以這樣取名......對於贏得了某個位置的廣告主，其所付出的成本應該等於他佔據這個位置給其他市場參與者帶來的價值損害。在單廣告位拍賣的情況下，VCG和第二高價策略是等價的。這種定價向廣告主收取的費用其實是最少的。雖然看起來很好，但它沒有成為主流。首先是太複雜，跟廣告主扯不清楚；然後是媒體計算的「給其他市場參與者帶來的價值傷害」的正確性很難驗證。Facebook是用這個方法的。
市場保留價
為了控制廣告的質量和保持一定的出售單價，往往要設一個拍賣最低價，這個價格就叫市場保留價（MRP）。MRP定得過低或者過高都不利於收益最大化。廣告主競爭得比較猛的時候，MRP可以定高一點。可以對整個市場採用同樣的MRP，也可以對不同的標的物（比如關鍵詞）設不同的價格。
價格擠壓
基本的收益公式：
加入價格擠壓因子的收益公式：
是點擊率，
是出價，基本的收益就是點擊率和出價的乘積。
價格擠壓因子越大，越以點擊率為主導去決定廣告排序；反過來，因子越小，越以出價為主導去決定廣告排序。
當廣告主競爭比較猛的時候，我們平台方是賣方市場，就可以調高擠壓因子，從而提高用戶體驗（用戶越願意點擊相當於體驗質量越好嘛）；當競爭不夠的時候，為了賺錢，只好犧牲一下用戶體驗了，調低擠壓因子，鼓勵價格競爭。
2.3 廣告網路
競價廣告在搜索廣告上用爽了，展示廣告的流量也就開始進入競價廣告平台了，催生了廣告網路。流量大的網站會以合約的方式出售展示廣告，剩餘的流量再流入廣告網路；流量小的網站乾脆就全部流量流入廣告網路，懶得自己去拉廣告合約。廣告網路的投放對媒體方而言是一個黑盒，只需要在廣告位的剩餘流量上調用廣告網路的投放代碼或SDK，不用關心每次展示的投放結果。
廣告網路的標的主要是人群，廣告位被淡化了。
廣告網路的廣告主一般是要先充值的，合約廣告則是結束後付費的，所以用廣告網路對運營方現金流也比較有保障。
產品案例：Google Display Network、阿里媽媽旗下的淘寶聯盟。
3. 程序化交易廣告
前面所講的廣告交易平台，叫ADX。其實相應的採買方或者說需求方的平台沒有展開來講，叫DSP。
ADX賣廣告資源，DSP買廣告資源。如果沒有DSP，廣告主要自己去面對ADX，去做複雜的購買決策，而且還難以達到像DSP能達到的那樣好的效益。所以將DSP理解為一個智能的廣告資源購買平台就可以了。
不管是ADX還是DSP，都要精準的定向和點擊率預測，而決定性的因素是什麼呢？是數據的來源與質量。可以重點關注的是以下幾類數據。
（1）用戶標識。顧名思義，就是一種用於識別用戶的數據。
對瀏覽器行為，最常用的就是cookie。對於同時有多個瀏覽器、cookie過期或用戶主動清cookie的情況，一致性就是一個問題。好在如果運營廣告業務的域名同時提供諸如電子郵件、SNS之類的永久身份標識，就可以對cookie做一致性的改善（cookie映射）。
移動端，ios與android的用戶ID有所不同。ios有蘋果專門設計的用戶標識符（Identifier for Advertising，IDFA），性質與cookie類似。android沒有專門的廣告用戶ID，一般採用android ID或IMEI（international mobile equipment identity）。
高質量的用戶標識數據非常有價值，所以在市場上是可以賣的。
（2）用戶行為。按照對廣告的有效性分類，可以分為決策行為、主動行為、半主動行為和被動行為。
決策行為主要是轉化和預轉化。比如電商網站上，下單就是轉化，下單前的搜索、瀏覽、比價、加入購物車等準備工作就是預轉化。這類數據雖然量不大，卻是價值最高的。
主動行為主要是廣告點擊、搜索。
半主動行為主要是分享和網頁瀏覽。這類數據，量最大，直接效果不明顯，但是有很大的挖掘價值。
被動行為主要是廣告瀏覽。比如說給你看了好多次汽車類廣告，你一次都沒點進去，這可以說明你對汽車不感興趣嘛。所以這類數據通常是作為負樣本來讓模型學習。
（3）人口屬性。人口屬性是很常用的定向標籤，數據來源很重要。一般來說，實名身份綁定的服務可以獲得這種信息。而得不到高質量數據的部分屬性就要做缺失補全了。比如可以用語音服務記錄的聲音信號來判別男女。
（4）地理位置。不同精度，不同用法。IP可以精確到城市；GPS或蜂窩可以精確到幾百米，餐飲之類的線下業務可以用得上。
（5）社交關係。物以類聚，人以群分。當一個人的興趣數據不足的時候，可以用他朋友的數據平滑過來，作為長期穩定的基礎數據是可以，但用於短時的購買興趣就不太適用。
4. 移動互聯與原生廣告
原生廣告並沒有非常嚴格的定義，軟文、搜索廣告、社交網路信息流等都有一些原生廣告的意味。將商業化內容和非商業化內容混在一起，從形式上難以區分的，都可以叫原生廣告。所以有句話叫，內容即廣告。信息流廣告。典型的就是微信朋友圈，朋友發的消息中間夾著幾條推廣廣告，不仔細看你沒發現它是廣告呢。信息流裡面插廣告的好處是，信息流的各條內容本身就沒有什麼相關性，廣告插進去不會顯得突兀，對用戶體驗的傷害不大。
搜索廣告。某度最愛乾的，搜個東西，前面好多條是廣告，不仔細看還不容易認出來那是廣告還是搜索內容。反正我是經常不小心點進去才發現是廣告，然後被噁心一把。
軟文廣告。經常看*嗅、*氪之類的媒體，你一定很清楚，軟文太多了，有的還不容易辨別。
移動廣告隨著移動設備的爆髮式增長而迅猛成長，雖然流量紅利已經夠讓人狂歡了，但是作為富於求知精神的我們還是要去關注移動廣告本身的特點的。
（1）情境廣告的可能性。移動設備一天到晚呆在我們身邊，對我們的地理位置、生活狀態、需求意圖等都可以有更加深入的獲知。那麼就可以不僅僅根據興趣推送商品了，完全有可能做到從情境和意圖出發。比如下午下班了，就應該趕緊推送各種餐館各種美食嘛；周五到了，就可以推送一泊二日的周末度假游之類的。
（2）大量潛在的本地化廣告主。因為精準的地理信息和情境獲知的能力，線下附近的商家就有能力通過這種富有針對性的廣告推廣來導流到線下，廣大的本地商家終於可以翻身做廣告主了。
下面列舉一下移動廣告的形式。嵌入到APP的橫幅和插屏；開屏、鎖屏；推薦牆、積分牆；還有最近某國產手機把廣告做到了天氣欄上了。嵌入到APP的廣告，通常有點擊率虛高、轉化較差的問題。開屏是打開APP時出現的全屏廣告，品牌價值高，通常以合約方式賣。
移動廣告也面臨著很多問題。
首先就是數據的割裂。這個問題在車品覺的《決戰大數據》里也強調過。比如你上班的時候，用電腦看了幾個網頁，然後老闆叫你去開會，你在玩手機，開完會再回來用電腦看你的淘寶。這樣一來，數據就失去了連貫性，對用戶行為分析帶來了巨大的困難。
第二個問題是PC時代的廣告主移動化還不夠，無法充分消化廣告帶來的流量。比如PC端的落地頁如果照搬到移動端的話，用戶體驗會非常差，這樣就會造成較高的跳失率。
第三是移動廣告產品形態需要一次革命。移動端的屏幕這麼小，廣告和內容分開放在不同的單元的話，用戶體驗太差。要解決這種廣告與內容的對立問題，要原生化。
終於......講到技術了。感覺好累，就算我有力氣繼續寫，估計你也沒力氣看了。
計算廣告的關鍵技術留到下一篇吧。
推薦閱讀：